OpenAI révèle 30% des tests SWE-Bench Pro défectueux
OpenAI a analysé SWE-Bench Pro, un test populaire pour évaluer les compétences de programmation des IA, et a identifié que 30% de ses tâches sont défectueuses. L'entreprise retire son soutien à ce benchmark, soulignant des problèmes comme des tests trop stricts ou ambigus. Les résultats influencent les décisions de publication des modèles d'IA.
« OpenAI reviewed SWE-Bench Pro, a widely used test for measuring AI models' programming skills, and found roughly 30 percent of its tasks are broken. » — The Decoder
Que faut-il retenir ?
- OpenAI a identifié 200 tâches (27.4%) comme défectueuses via une analyse automatisée et humaine.
- Cinq développeurs ont évalué les mêmes cas et ont signalé 249 tâches (34.1%) comme problématiques.
- Les tests proviennent de projets logiciels réels, initialement conçus pour des humains, pas pour des IA.
- Les modèles top ont amélioré leur précision de 23.3% à 80.3% en huit mois sur la version publique du test.
Pourquoi cette nouvelle compte-t-elle ?
Cet article est crucial pour les professionnels de l'IA car il met en lumière les limites des benchmarks actuels utilisés pour évaluer les modèles de programmation. Des tests défectueux peuvent fausser l'évaluation des capacités réelles des IA, impactant les décisions de déploiement et de sécurité. Cela appelle à développer de nouveaux benchmarks plus fiables.
30% des tâches de SWE-Bench Pro sont défectueuses
Public concerné : développeurs, entreprises
Pourquoi OpenAI retire-t-il son soutien à SWE-Bench Pro ?
OpenAI a retiré son soutien à SWE-Bench Pro après avoir découvert que 30% de ses tâches sont défectueuses, ce qui fausse l'évaluation des capacités réelles des modèles d'IA en programmation. L'entreprise appelle à développer de nouveaux benchmarks plus fiables.
