Perchè quelli non sono "plugin in formato AU" (infatti tu hai detto "AU proprietario" = non sono AU) ma sono synth interni alle due App (un po' come quelli di Reason per capirci).
Puoi provare ad usare MidiPIPE
per creare porte MIDI virtuali ed interconnettere tra loro Mainstage e Reaper e JackAudio per interconnetterle a livello flusso audio (appunto), in modo da far diventare Mainstage una sorta di expander HW (virtuale) dal punto di vista di Reaper.