Mistral lance Leanstral 1.5, un modèle open-source pour la vérification formelle
Mistral AI a publié Leanstral 1.5, un modèle open-source gratuit spécialisé en vérification formelle pour Lean 4. Il obtient 100% sur miniF2F, résout 587 problèmes sur PutnamBench et détecte 5 bugs inconnus dans des dépôts open-source.
« Mistral says the model hits 100 percent on miniF2F, a formal math benchmark covering problems from high school level up to math olympiad difficulty. » — The Decoder
Que faut-il retenir ?
- Leanstral 1.5 atteint 100% sur miniF2F, un benchmark de mathématiques formelles.
- Il résout 587 problèmes sur 672 du PutnamBench.
- Il obtient 87% et 34% sur les benchmarks FATE-H et FATE-X.
- Le modèle a détecté 5 bugs inconnus dans 57 dépôts open-source.
Pourquoi cette nouvelle compte-t-elle ?
Leanstral 1.5 démontre des performances impressionnantes en vérification formelle et en détection de bugs, ce qui peut aider les développeurs et les mathématiciens à automatiser des tâches complexes. Son accès open-source le rend accessible à une large communauté.
100% sur miniF2F
Public concerné : développeurs
Quelles sont les performances de Leanstral 1.5 en vérification formelle ?
Leanstral 1.5 atteint 100% sur miniF2F, résout 587 problèmes sur PutnamBench et obtient 87% et 34% sur FATE-H et FATE-X. Il a aussi détecté 5 bugs inconnus dans des dépôts open-source.
