Comment fonctionne la compression de Bonsai 27B
Chaque poids est représenté par une valeur unique, soit -1, 0 ou +1 pour la version ternaire (1.71 bits par poids), et -1 ou +1 pour la version binaire (1.125 bits par poids). Ces versions compactes offrent une taille optimale de 5.9GB et 3.9GB respectivement.
Caractéristiques techniques
Bonsai 27B est un modèle multimodal avec des poids linguistiques d’environ 24.8 milliards, un tour visuel à 0.46 milliard et 2.5 milliards de poids dans les emboîtements et la tête du langage.
- Architecture compacte pour une utilisation optimale sur ordinateurs portables et smartphones
- Multiples options de compression disponibles : ternaire et binaire