IA médicale : trop confiante même quand elle se trompe
Une étude a testé 16 modèles IA sur 200 cas radiologiques, comparés à des radiologues humains. Les experts humains ont obtenu 988,7 points sur 2000, contre 758 pour le meilleur modèle IA. Les IA sont souvent trop confiantes dans leurs erreurs, ce qui peut être dangereux en médecine.
« Several top commercial models produce a large number of highly confident misdiagnoses, making their confidence level an unreliable indicator of accuracy. » — The Decoder
Que faut-il retenir ?
- Les radiologues humains ont obtenu 988,7 points sur 2000 contre 758 pour le meilleur modèle IA.
- Anthropic's Claude Fable 5 a été le meilleur pour les réponses fiables et sûres.
- Google's Gemini 3 Pro avait la précision brute la plus élevée.
- Meta's Muse Spark 1.1 était le meilleur pour savoir quand passer un cas à un humain.
Pourquoi cette nouvelle compte-t-elle ?
Cet article souligne les risques des IA trop confiantes en diagnostic médical, un domaine où les erreurs peuvent avoir des conséquences graves. Il montre que malgré des progrès en précision, les modèles manquent encore de jugement sur leurs propres limites, ce qui est crucial pour leur adoption clinique.
988,7 points sur 2000 pour les radiologues humains
Public concerné : développeurs, entreprises
Les IA peuvent-elles remplacer les radiologues pour analyser les radios ?
Non, selon cette étude. Les radiologues humains ont largement surpassé les IA en précision et fiabilité. Les modèles IA sont souvent trop confiants dans leurs erreurs, ce qui les rend dangereux pour un usage clinique non supervisé.
🔧 Outils mentionnés