LoRA vs autres techniques de fine-tuning : quelle est la meilleure ?
LoRA est la technique de fine-tuning efficient la plus utilisée (98,4% des modèles), mais son succès pourrait être dû à sa popularité plutôt qu'à sa supériorité technique. Des alternatives comme LoHa ou AdaLoRA existent mais sont peu adoptées.
« Of a sample of 20,834 model cards on Hugging Face Hub that mention exactly one PEFT technique, 20,509 mention LoRA (98.4%). » — Hugging Face Blog
Que faut-il retenir ?
- 98,4% des 20 834 modèles utilisant une seule technique PEFT mentionnent LoRA.
- 95,0% des 10 000 checkpoints analysés pour la génération d'images utilisent LoRA.
- 71,3% des requêtes GitHub pour PEFT concernent LoRA, contre 3,7% pour LoHa.
- LoRA a été l'une des premières techniques PEFT populaires, ce qui explique peut-être sa domination.
Pourquoi cette nouvelle compte-t-elle ?
Cet article remet en question la domination de LoRA dans le fine-tuning efficient, suggérant que d'autres techniques pourraient être sous-utilisées malgré leur potentiel. Cela impacte les développeurs et chercheurs en IA qui cherchent à optimiser leurs modèles. La réflexion sur le choix des techniques PEFT est cruciale pour l'efficacité et l'innovation dans le domaine.
98,4% des modèles PEFT utilisent LoRA
Public concerné : développeurs
