Les tendances des LLM du moment
Cinq mouvements qui changent la donne côté LLM : les petits modèles prennent les agents, le raisonnement se vérifie au lieu de se croire sur parole, et le contexte remplace le prompt.
En avril 2026, le Technology Radar de Thoughtworks a écrit noir sur blanc que les petits modèles devraient devenir le « default choice for agentic workflows », les gros modèles n'étant appelés que « when necessary ». C'est la phrase la plus utile publiée cette année sur les LLM.
Voici les cinq tendances que je retiens, les chiffres qui vont avec, et ce que j'en fais dans mes propres stacks.
1. Les petits modèles prennent le relais dans les agents
Un agent passe l'essentiel de son temps à faire du parsing, du routage d'intention, de l'appel d'outil et de la mise en forme JSON. Ce n'est pas du raisonnement complexe, et le Radar le dit explicitement : les SLM sont « a lower-cost, lower-latency alternative with reduced resource requirements ».
Concrètement, Phi-4-mini et Ministral 3 3B tiennent déjà la route grâce à la distillation, et des modèles ultra-compacts comme Qwen3-0.6B ou Gemma-3-270M tournent sur des appareils en périphérie. Pour une étape « extraire le nom, la date et le montant d'une facture », appeler un modèle frontier est une dépense absurde.
Mon avis tranché : la facture d'inférence des agents va surtout baisser par le routage, pas par une nouvelle baisse des prix API.
2. Le raisonnement se vérifie désormais, il ne se croit plus sur parole
Le papier le plus inconfortable de l'année est signé Laksh Advani, sur arXiv (2601.00513). En analysant 10 734 traces de raisonnement produites par des modèles de 7 à 9 milliards de paramètres, il trouve que 50 à 69 % des réponses correctes reposent sur un raisonnement faux.
Autrement dit : ton agent a le bon résultat, ta métrique d'exactitude est verte, et le chemin suivi était faux. Le papier montre aussi que le RAG améliore l'intégrité du raisonnement (Cohen's d de 0,23 à 0,93, avec 7,6 % d'erreurs en moins) alors que l'auto-critique dégrade les performances (d de -0,14 à -0,33).
La sortie pratique existe : l'auteur distille un classifieur de vérification à 0,86 de F1, environ 100 fois plus rapide que le juge initial. Un modèle qui vérifie un autre modèle, ce n'est plus un luxe, c'est deux lignes de code.
3. Le prompt engineering a migré vers le context engineering
Le survey « Context Engineering for Large Language Models » (arXiv 2507.13334) a acté le glissement : ce qui pilote la qualité n'est plus la formulation de la consigne, mais la composition de tout ce que le modèle voit à l'inférence.
Mon exemple concret : sur un agent de veille qui ingère des pages web, passer d'un fourre-tout de 180 000 tokens à une sélection de 20 000 tokens (résumés, extraits ciblés, métadonnées) a produit plus de gain de qualité que trois semaines de réécriture de prompts. Voir aussi mes bonnes pratiques des LLM en 2026 sur ce point.
Le prompt reste utile, mais il est devenu une sous-catégorie du contexte. Si tu passes encore ta semaine à chercher la formule magique, tu travailles sur la mauvaise variable.
4. Les architectures hybrides redessinent le long contexte
Dans sa liste de papiers 2026, Sebastian Raschka note que le travail d'architecture ne consiste plus à empiler des couches de transformer. La piste dominante mélange attention classique et mécanismes à espace d'état.
- Nemotron 3 (arXiv 2604.12374) alterne couches d'attention et couches Mamba-2 dans un MoE hybride.
- Mamba-3 (arXiv 2603.15569) et Gated DeltaNet-2 prolongent la même famille d'idées.
- Qwen3.6 utilise des couches Gated DeltaNet à la place des couches Mamba-2 sur ses segments non attentionnels.
La raison est directe : plus un agent tourne longtemps, plus son contexte s'allonge, et plus le coût de l'attention quadratique devient le facteur limitant. L'efficacité en contexte long est le nouveau champ de bataille.
5. La sécurité des agents devient le poste de dépense le plus sérieux
Simon Willison a mis deux paris sur la table pour 2026 : l'année où l'on règle enfin le sandboxing, et celle d'un « Challenger disaster » pour la sécurité des agents de code.
Son scénario le plus crédible est un ver d'injection de prompt qui s'installe dans les paquets Python ou npm accessibles à un agent. C'est exactement le risque d'une architecture où un agent a le shell, le réseau et les droits de ton utilisateur. À lire, l'essai de Johann Rehberger sur la « normalisation de la déviance » : tout va bien jusqu'au jour où tout ne va plus bien.
Cela rejoint un constat que j'ai déjà détaillé sur ce blog : les agents tool-use ne sont pas une solution miracle. Les containers et WebAssembly sont les pistes les plus prometteuses, mais c'est le travail d'ergonomie autour qui manque encore.
6. Ce que je mets en place cette semaine
- Router par tâche : un petit modèle local pour l'extraction et le routage, un grand modèle uniquement pour la planification et l'arbitrage.
- Vérifier la sortie sur les chemins critiques : un classifieur léger qui contrôle la cohérence du raisonnement avant d'écrire en base.
- Sandboxer tout ce qui exécute du code : conteneur, réseau coupé par défaut, montage en lecture seule sauf besoin explicite.
Aucune de ces trois actions ne demande un nouveau modèle. Elles demandent de choisir ce qui entre dans le contexte, ce qui a le droit de s'exécuter, et ce qui mérite un gros modèle. J'ai détaillé l'angle « fonctionnalités VS réalité » dans ce qui a vraiment changé en octobre 2026.
Sources
- Thoughtworks Technology Radar vol. 34 — Small language models (avril 2026)
- Laksh Advani — When Small Models Are Right for Wrong Reasons (arXiv 2601.00513, janvier 2026)
- A Survey of Context Engineering for Large Language Models (arXiv 2507.13334)
- Sebastian Raschka — LLM Research Papers: The 2026 List
- Simon Willison — LLM predictions for 2026
- Johann Rehberger — The Normalization of Deviance in AI