Byss Research
Les benchmarks publics mesurent des capacités générales sur des tâches standardisées : SWE-bench pour le code, GAIA pour l'assistance générale, τ-bench pour le dialogue outillé. Un agent qui y brille peut échouer sur vos données, vos outils et vos règles métier, parce que la distribution des cas réels diffère radicalement de celle du benchmark.
Notre pratique : un eval harness propre au client, construit à partir de traces réelles anonymisées, avec trois familles de métriques. La réussite de bout en bout (la tâche est-elle accomplie ?), la conformité du chemin (l'agent a-t-il respecté permissions et garde-fous ?), et le coût par résolution (tokens, latence, escalades humaines).
L'évaluation par LLM-juge accélère l'itération mais introduit ses propres biais, position, verbosité, auto-préférence. Nous la calibrons systématiquement contre un échantillon jugé par des humains avant de lui confier la CI.
À retenir
- Un benchmark public ne remplace jamais un jeu d'évaluation métier issu de traces réelles.
- Mesurer trois choses : réussite finale, conformité du chemin, coût par résolution.
- Calibrer tout LLM-juge contre un étalon humain avant de l'automatiser.
- Bloquer les déploiements sur régression d'eval, comme des tests unitaires.
Références
- [1]Jimenez, C. et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? ICLR 2024.
- [2]Mialon, G. et al. (2023). GAIA: A Benchmark for General AI Assistants.
- [3]Yao, S. et al. (2024). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains.
- [4]Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023.
