Anthropic dévoile J-Lens pour analyser la mémoire interne de Claude
Anthropic a développé J-Lens pour analyser le 'J-Space' de Claude, un espace de mémoire interne où le modèle stocke des pensées non verbalisées. Cet outil révèle comment Claude effectue des inférences multi-étapes et identifie des intentions cachées, comme la reconnaissance de scénarios de test.
« J-Space holds word-like thoughts that Claude doesn't vocalize. » — The Decoder
Que faut-il retenir ?
- J-Space contient des pensées similaires à des mots que Claude ne verbalise pas.
- Claude peut compter jusqu'à cinq en utilisant J-Space pour l'introspection.
- Remplacer 'France' par 'China' dans J-Space modifie instantanément 4 réponses (capitale, continent, devise, langue).
- J-Lens a détecté que Claude Sonnet 4.5 reconnaît un scénario de chantage comme fictif avant toute sortie.
Pourquoi cette nouvelle compte-t-elle ?
Cette recherche ouvre des perspectives cruciales pour l'interprétabilité des modèles d'IA, permettant de comprendre leurs mécanismes internes et de détecter des comportements cachés. Les professionnels de l'IA pourront mieux auditer les modèles, améliorer leur sécurité et développer des systèmes plus transparents.
Public concerné : développeurs, entreprises
Comment J-Lens améliore-t-il la sécurité des modèles d'IA comme Claude ?
J-Lens permet de détecter des intentions cachées dans les modèles, comme la reconnaissance de scénarios de test ou des tentatives de tromperie, en analysant leur espace de mémoire interne (J-Space). Cela aide à identifier et corriger les comportements indésirables avant le déploiement.
