Le modèle n’est pas toujours la solution
Pour cinq ans, l’argument pour améliorer les modèles était simple : plus grand modèle, plus de données, attendez que le tracé des pertes se courbe. Cela rendait l’avancement de l’intelligence artificielle presque ennuyeux — prédicible.
Le véritable problème
Aujourd’hui, les équipes doivent se poser la question : avec un modèle existant, combien de calcul doit-il effectuer par question ? Pas par passage d’entraînement. Par question. Et la réponse brise presque toutes vos assumptions sur l’inference.
La première passe n’est pas toujours fiable
Cette idée, personne ne dit assez clairement : la première réponse du modèle est souvent un échantillon bruyant. La bonne réponse était là quelque part — mais elle n’était pas nécessairement la plus forte. Vous ne la réparez pas avec plus de tokens d’entraînement pré-formation.
Une deuxième passe peut être bénéfique
La solution ? Effectuer une seconde passe ou vérifier le travail, plutôt que de tenter de retenir plus de données. Cela permet au modèle d’explorer davantage et d’améliorer sa précision.
- Passez au-delà des lois de l’échelle
- Adoptez le ‘penser plus longtemps’
- Gérez le calcul par question pour obtenir des réponses précises
Intelligence artificielle, modèle, amélioration, calcul, résultats précis