Focus sur les fonctionnalités de IA
Deux fonctionnalités IA sur six changent réellement ton intégration ; les quatre autres changent surtout les slides. Le tri, avec les chiffres et les pièges.
Six fonctionnalités IA ont atterri dans mes prototypes cette année. Deux ont changé le code. Les quatre autres ont surtout changé les slides.
Le tri ne se fait pas au feeling. Une fonctionnalité se juge sur trois chiffres : le coût par tâche réussie, la latence au p95 et le nombre de lignes de plomberie qu'elle supprime. J'ai appliqué ce filtre à la stack que j'utilise au quotidien, côté API hébergée comme côté vLLM en local. Voici ce qui reste debout.
Les trois fonctionnalités qui changent vraiment ton intégration
Elles ont un point commun : aucune ne rend le modèle plus intelligent. Toutes rendent ton code plus simple à maintenir, ce qui est plus difficile à vendre et bien plus rentable.
Sorties structurées : arrête de parser du texte libre
Si tu extrais encore du JSON d'une réponse avec une regex, tu perds ton temps et tu casses en production au premier retour à la ligne. Les sorties structurées contraignent la génération elle-même à respecter un schéma.
vLLM l'expose dans son serveur compatible OpenAI avec quatre modes : json pour un JSON Schema, regex, choice et grammar. Le comportement est le même chez les hébergeurs, donc ton intégration reste portable.
response = client.chat.completions.create(
model="mon-modele",
messages=messages,
response_format={
"type": "json_schema",
"json_schema": {"name": "ticket", "schema": Ticket.model_json_schema()},
},
)Avis tranché : c'est la seule fonctionnalité de cette liste que j'active dès le premier commit. Le gain n'est pas la précision, c'est la disparition du code de rattrapage — plus de try/except json.loads, plus de retry sur réponse malformée. La doc de référence est celle de vLLM, et elle vaut la lecture même si tu passes par un fournisseur.
Cache de prompt : le seul levier de coût qui ne touche pas au modèle
Le principe est bête. Le fournisseur conserve l'état de calcul intermédiaire du préfixe de ton prompt et le réutilise quand la requête suivante commence par les mêmes tokens.
Chez OpenAI, l'activation est automatique au-delà de 1 024 tokens, et la documentation officielle annonce jusqu'à 80 % de latence en moins sur les prompts dépassant 10 000 tokens. Aucun changement d'intégration : tu lis simplement cached_tokens dans la réponse pour vérifier que ça mord. C'est cohérent avec ce qu'on voit en production depuis notre déploiement vLLM, où les longs prompts système plombent la facture bien plus que la génération.
La contrepartie est dans l'ordre. Un outil renommé, un schéma modifié, un effort de raisonnement qui bouge : le préfixe change et le cache tombe. Règle simple : tout ce qui est statique en tête de prompt, tout ce qui est dynamique à la fin.
Tool calling et MCP : arrête d'écrire un client par API
MCP, le Model Context Protocol, est un standard ouvert publié par Anthropic en novembre 2024 : une spec, un client, N serveurs — GitHub, Postgres, Slack, ton CRM interne.
L'écosystème a basculé discrètement. Plus de 10 000 serveurs publics annoncés fin 2025, et la spécification 2026-07-28 est passée en mode sans session ni handshake. Concrètement : un serveur MCP se déploie derrière un load balancer comme n'importe quelle API HTTP.
Avis tranché : ça vaut le coup pour les intégrations que tu ne veux pas maintenir toi-même. Pour trois appels d'API stables, une fonction Python de vingt lignes reste plus rapide à déboguer qu'un serveur MCP.
Les fonctionnalités qui relèvent surtout du marketing
- Les « agents autonomes tout-en-un » : une boucle d'agent non bornée consomme des tokens proportionnellement à son incertitude. Un pipeline déterministe gagne dans neuf cas sur dix, et se relance quand il échoue.
- La « mémoire IA illimitée » : sans index propre, tu ajoutes du bruit dans le contexte. C'est un problème de retrieval, pas de capacité de fenêtre.
- Le raisonnement poussé par défaut : trente secondes de latence pour trier une intention client, c'est un choix de confort pour la démo, pas un choix produit.
- Le multi-agents : ça multiplie les points de panne et les coûts d'orchestration sans améliorer la métrique mesurée. À réserver aux tâches réellement parallélisables.
Le point commun de ces quatre briques : elles déplacent la complexité du produit vers l'infrastructure. C'est acceptable quand tu construis un argumentaire de vente, coûteux quand tu paies la facture.
Ce que j'active par défaut, dans l'ordre
- Sorties structurées sur chaque appel qui alimente du code métier.
- Cache de prompt, avec le préfixe statique en tête de requête.
- Tool calling, ou MCP seulement si l'intégration est tierce et changeante.
- API batch pour tout ce qui n'est pas du temps réel : l'appel différé coûte moins cher et rien ne justifie la synchrone.
- Multimodal uniquement si l'entrée est réellement une image, un PDF scanné ou de l'audio.
L'ordre compte, parce que chaque brique se mesure sur le coût par tâche réussie et pas sur le coût par token. Un modèle deux fois plus cher qui réussit du premier coup reste moins cher qu'un modèle économique relancé trois fois. C'est exactement la logique d'un banc d'essai RAG : sans jeu de cas de référence, tu compares des impressions de latence.
Le piège commun à toutes ces fonctionnalités
Ajoute une fonctionnalité, garde cinquante cas de test, compare. Si le coût par tâche réussie ne baisse pas, la fonctionnalité reste dans le bac à sable, quelle que soit sa place dans le discours du fournisseur.
Deuxième piège : le verrouillage. Les sorties structurées et le cache de prompt se comportent de la même façon chez plusieurs hébergeurs, c'est leur force. Une API d'agents propriétaire, non : tu signes pour leur roadmap et tu perds le droit de changer d'avis sur ton propre pipeline.