MoEs sind hervorragend für einheitliches multimodales Pretraining geeignet.