Les compromis nécessaires avec les AI workflows

Latence, erreurs résiduelles, coûts variables, gouvernance : les quatre compromis d'un workflow IA en production, chiffres et arbitrages à l'appui.

Les compromis nécessaires avec les AI workflows

Le compromis commence avant le choix du modèle

Mon premier workflow IA en production m'a coûté 8 500 € par mois là où j'avais chiffré 2 000 €. Le modèle n'était pas en cause : c'est tout ce qu'il y a autour qui fait exploser le budget.

Un workflow IA, c'est un contrat que tu signes sans le lire. Tu gagnes une capacité — classer, résumer, rédiger — et tu acceptes en silence quatre dettes : la latence, l'erreur résiduelle, le coût variable et la charge de gouvernance.

Voici ces quatre compromis tels que je les vis, avec les chiffres et les arbitrages qui tiennent depuis plus de six mois en production.

Latence contre précision : raisonne en budget d'erreur

Ton produit possède un budget de latence, pas un budget de précision. Un modèle qui répond en 2,4 s avec 94 % d'exactitude perd contre un modèle à 87 % qui répond en 480 ms, parce que l'utilisateur a déjà fermé l'onglet.

La grille de lecture qui m'a le plus servi ne vient pas du monde des LLM mais du monde SRE : traite la qualité comme un budget d'erreur que tu dépenses en connaissance de cause, comme l'explique le chapitre Embracing Risk du Google SRE Book.

Mon arbitrage tient dans une cascade à deux étages. Un petit modèle local traite 90 % du flux, un modèle plus gros prend les cas résiduels et sert de rattrapage quand la confiance du premier descend sous un seuil.

Résultat mesuré sur quatre semaines : coût par requête divisé par 3,4, latence médiane à 520 ms, p95 à 1,9 s. Le papier FrugalGPT formalise exactement ce mécanisme et confirme l'ordre de grandeur des économies.

Hallucinations : zéro erreur n'est pas un objectif atteignable

Un modèle qui invente une référence produit est dangereux ; le même modèle qui propose trois variantes de description est utile. L'écart ne vient pas du modèle, il vient du coût de l'erreur.

Sur notre chaîne de fiches produit, cette contrainte est devenue explicite : le modèle génère des brouillons, un humain valide. Deux minutes de relecture contre trente minutes de rédaction, c'est le seul compromis qui a survécu à trois mois de production.

Le piège n'est pas de garder l'humain dans la boucle, c'est de croire qu'un bouton « approuver » suffit. Il faut du contexte, des diffs visuels et la raison du choix proposé, sinon la relecture devient du clic mécanique et le taux d'erreur remonte.

Tu dois aussi déplacer ton assurance qualité : tu ne vérifies plus l'orthographe, tu vérifies la factualité. Les échecs silencieux des agents, détaillés dans Pourquoi les agents tool-use ne sont pas une solution miracle, viennent presque toujours de cette vérification absente.

Les coûts cachés arrivent après la démo

Trois postes manquent systématiquement dans les estimations : le GPU du serveur d'inférence, la reprise sur erreur et le temps humain d'orchestration.

Un modèle 7B qui sert 1 000 requêtes par seconde ne tourne pas sur le CPU de ton VPS. Chez moi, ce poste seul représentait 40 % de la facture initiale, avant même de compter le trafic réel.

La reprise sur erreur est le poste le plus sous-estimé : chaque appel réseau peut échouer, et un workflow qui rejoue une écriture sans idempotence te laisse de la donnée corrompue que personne ne rattrape.

Le temps humain, lui, se paie en poste budgétaire. J'ai fini par dégager un mi-temps d'orchestration rien que pour gérer les prompts, les versions de modèles, les alertes d'erreur et les seuils de qualité. Une méthode d'évaluation outillée, du golden set tiré des traces au garde-fou CI, évite que ce mi-temps serve uniquement à constater les régressions.

Gouvernance : le travail invisible qui te protège

Logging des décisions, version du prompt, jeu d'évaluation, documentation des limites, plan de rollback. Rien de tout cela ne produit une fonctionnalité visible, et pourtant tout tient debout grâce à ça.

Le NIST AI Risk Management Framework m'évite d'inventer ma propre structure avec ses quatre fonctions GOVERN, MAP, MEASURE et MANAGE.

Concrètement, chaque intégration documente trois choses : la précision mesurée sur mon jeu de test, les cas d'échec connus et la procédure de retour arrière. Coût réel : environ 30 % de temps en plus sur la livraison initiale.

« Il suffit d'attendre le prochain modèle »

C'est l'objection que j'entends à chaque audit, et elle est fausse pour trois raisons concrètes.

Les modèles progressent en capacité, pas en latence. Un modèle plus intelligent raisonne plus longtemps, donc l'arbitrage latence contre précision se déplace au lieu de disparaître.

Chaque génération apporte ses propres modes d'échec : appels d'outils inventés, raisonnement non vérifiable, contexte long impossible à surveiller correctement. Tu paies la migration en réécriture de prompts et en réévaluation complète.

Enfin le coût par token baisse, mais ta consommation monte plus vite que le prix ne descend. Mon budget LLM a augmenté de 60 % l'année où le tarif au million de tokens a été divisé par deux.

Le compromis que je signe aujourd'hui

Quatre règles tenables, testées en production, et aucune n'est élégante.

  • Mesurer avant d'automatiser : sans chiffre de référence, tu ne peux pas savoir si l'IA t'aide ou te coûte.
  • Fixer un seuil d'arrêt par workflow : au-delà d'un taux d'erreur donné, le système repasse en mode manuel automatiquement.
  • Budgéter la latence et le coût au p95, jamais à la moyenne, parce que c'est le p95 qui génère les réclamations.
  • Documenter les limites, même quand ça te dessert commercialement.

Les équipes qui réussissent avec l'IA en production ne sont pas celles qui ont tout automatisé. Ce sont celles qui ont écrit noir sur blanc ce qu'elles acceptent de perdre.