AutoArena

AutoArena est un outil open-source qui automatise les évaluations en tête-à-tête en utilisant des juges LLM pour classer les systèmes d'IA générative. Il fournit des classements rapides et précis en calculant les scores Elo et les intervalles de confiance à partir de plusieurs modèles de juges, réduisant ainsi le biais d'évaluation. Les utilisateurs peuvent affiner les juges pour des tâches spécifiques et configurer des automatisations dans leur référentiel de code afin d'assurer une évaluation efficace et une intégration au sein des flux de travail de développement.

• Évaluations automatisées en tête-à-tête utilisant des juges LLM
• Génération de classements pour comparer les LLM, les configurations RAG ou les variations de prompt
• Affinage de juges personnalisés pour des besoins spécifiques
• Parallélisation, randomisation et autres fonctionnalités pour améliorer l'efficacité de l'évaluation

• Évaluer les systèmes d'IA générative dans des environnements CI
• Configurer des automatisations pour prévenir les mauvaises modifications et mises à jour de prompt
• Collaborer sur les évaluations dans des environnements cloud ou sur site