Qu’est-ce que Soofi S 30B-A3B ?
Soofi S est un modèle de base hybride Mamba-Transformer MoE avec environ 31,6 milliards de paramètres et active environ 3,2 milliards de paramètres par token. Comme modèle de base, il n’a pas reçu d’alignement ou d’ajustement des instructions, ni de régulation de sécurité. Le KI Bundesverband coordonne le Consortium, financé par le ministère fédéral allemand pour l’économie et l’énergie. Les participants incluent Fraunhofer IAIS, DFKI, TU Darmstadt, ellamind et Merantix Momentum.
Comment fonctionne cette architecture ?
- L’architecture comporte 52 couches de réseau.
- Ce sont 23 couches Mamba-2 de mélange séquentiel, 23 couches MoE granulaires et 6 couches d’attention Grouped-Query (GQA).