Pourquoi les agents tool-use ne sont pas une solution miracle

Un agent tool-use qui réussit 9 fois sur 10 en démo tombe à 3 sur 10 quand cinq outils s'enchaînent. Coûts cachés, faux succès, et le filtre à trois questions avant de mettre un agent en production.

Pourquoi les agents tool-use ne sont pas une solution miracle

Un agent tool-use qui réussit neuf fois sur dix en démo tombe à trois sur dix dès que la tâche demande cinq appels d'outils enchaînés. Ce n'est pas une opinion : c'est ce que mesurent les benchmarks de function calling sur les meilleurs modèles du moment. Et c'est exactement là que le mythe se fissure.

Je construis des systèmes avec ces agents depuis trois ans, en production. Voici pourquoi j'ai arrêté d'en mettre partout, et surtout où ils gagnent vraiment leur place.

Chaque outil ajouté te coûte des points de réussite

Un modèle qui plafonne à 90 % sur un appel de fonction unique perd facilement trente points dès qu'on lui demande des appels parallèles ou multiples. Le passage de « un outil » à « cinq outils » n'est pas linéaire, parce que la probabilité de succès d'une chaîne est le produit des succès individuels.

Fais le calcul toi-même : 0,9 × 0,9 × 0,9 × 0,9 × 0,9 ≈ 0,59. Tu passes de 90 % à 59 % de réussite sans que le modèle ait régressé une seule fois.

Le benchmark τ-bench de Sierra enfonce le clou avec sa métrique pass^8 : un agent doit réussir huit fois d'affilée la même tâche pour être considéré comme fiable. Les meilleurs modèles passent sous les 25 % en domaine retail. Huit fois de suite, ce n'est pas de la perfection, c'est le minimum qu'un client attend d'un système qui touche à son argent.

Le pire échec d'un agent n'est pas un crash, c'est un faux succès

Un script qui plante te prévient. Un agent qui se trompe te remercie poliment et clôt le ticket.

La taxonomie MAST (« Why Do Multi-Agent LLM Systems Fail? ») recense quatorze modes d'échec observés sur des systèmes multi-agents. La majorité ne sont pas des bugs : ce sont des raisonnements plausibles mais faux.

Exemple vécu : un agent de support devait rembourser un client. Il a appelé l'outil de remboursement, reçu une réponse vide à cause d'un timeout d'API, puis résumé l'opération comme « remboursement effectué ».

La boucle s'est fermée proprement, aucune exception levée, et le client a attendu six jours.

Voilà le coût caché : tu dois instrumenter le résultat, pas seulement l'exécution.

Le budget tokens ne ressemble pas à ce que tu crois

Un agent qui réessaie est un agent qui repaie. Chaque tentative renvoie tout le contexte : historique de conversation, définitions d'outils, observations accumulées. Sur un agent qui boucle trois fois, tu paies quatre fois le même prompt, et il grossit à chaque tour.

Sur un de mes prototypes, un ticket résolu par workflow déterministe coûtait 0,004 $. Le même ticket passé dans une boucle agentique coûtait 0,41 $ en moyenne, avec une queue de distribution à 3 $ pour les cas qui bouclaient sans converger. Cent fois le prix, pour un taux de réussite inférieur.

La latence suit la même courbe. Le retry n'est pas gratuit en secondes non plus : ta p95 explose dès que 10 % des requêtes partent en boucle.

« Oui mais les modèles progressent »

C'est vrai, et ça ne change pas la conclusion. Les modèles progressent sur les benchmarks, mais l'écart entre la démo et la production ne vient pas que de la capacité brute : il vient de l'ambiguïté de la tâche et de la longueur de l'état à maintenir.

L'étude METR de juillet 2025 a suivi seize développeurs open-source expérimentés sur leurs propres dépôts. Avec l'IA, ils ont été 19 % plus lents, alors qu'ils prévoyaient eux-mêmes d'être 24 % plus rapides. Le ressenti et la mesure divergent, dans le sens inverse de ce que tout le monde raconte.

Anthropic, qui vend des modèles, recommande explicitement dans « Building effective agents » de préférer un workflow composé à un agent autonome quand les étapes sont connues à l'avance. C'est le vendeur qui te dit de ne pas acheter la version la plus chère : écoute-le.

Le filtre en trois questions

Avant de coller un agent sur un problème, je pose trois questions. Si tu réponds « non » à une seule, tu écris un workflow déterministe et tu passes à autre chose.

  • Le périmètre des actions est-il fermé et énumérable ? Si l'agent peut inventer une action, tu as perdu le contrôle du pire scénario.
  • L'erreur est-elle réversible ou détectable automatiquement ? Sinon, un humain doit valider, et ta boucle autonome n'existe plus.
  • Existe-t-il un signal de vérification indépendant du modèle ? Une base de données, un test, un tiers. Le modèle ne peut pas être son propre juge.

Un triage de tickets avec une liste finie de catégories : oui, oui, oui. Une opération bancaire : le périmètre est fermé, mais l'erreur n'est pas réversible, donc un humain reste dans la boucle.

Ce que je construis à la place

Un squelette déterministe qui appelle le LLM sur des points précis : extraction, classification, rédaction. Le modèle ne choisit jamais l'ordre des étapes, il remplit des trous bien définis.

Conséquence directe : ta qualité dépend du contexte que tu donnes au modèle, pas de son autonomie. C'est pour ça qu'une RAG correctement évaluée bat un agent bien prompté — le sujet est détaillé dans Bien démarrer avec les RAG evaluation.

Et si tu veux la partie prompt et garde-fous, Les bonnes pratiques des LLM en 2026 couvre le terrain.

Les agents tool-use ne sont pas une arnaque. Ce sont des outils de précision avec une fenêtre d'usage étroite, que l'industrie emballe comme un couteau suisse. Mon conseil est simple : commence par le workflow déterministe, et n'ajoute un agent que là où tu as mesuré qu'il gagne.

Sources : τ-bench (Sierra) pour la métrique pass^8 ; étude METR, juillet 2025 pour l'écart ressenti/mesuré ; Anthropic — Building effective agents pour les workflows contre les agents.