Les tendances du traitement NLP du moment
Encodeurs réhabilités, rerank systématique, extraction zero-shot : les bascules qui changent vraiment un pipeline NLP en production.
Le modèle NLP le plus rentable de ton pipeline cette année n'est probablement pas un LLM. C'est un encodeur de 149 millions de paramètres qui tourne sur quatre cœurs CPU. Ce basculement, personne ne l'a annoncé à grand bruit, et pourtant il redessine la façon dont on traite du texte en production.
J'ai regardé ce qui bouge vraiment côté NLP ces dernières semaines, en écartant les annonces de benchmark. Voilà les cinq tendances qui tiennent debout, avec les chiffres qui vont avec.
Les encodeurs prennent leur revanche
BERT est resté bloqué à 512 tokens pendant six ans. ModernBERT casse le plafond d'un coup : 8 192 tokens de contexte, 149 M de paramètres en base, 395 M en large.
Le gain n'est pas cosmétique. Sur des lots de longueurs mélangées, la variante large tourne jusqu'à quatre fois plus vite que DeBERTaV3, avec moins d'un cinquième de sa mémoire.
La recette est directement pompée sur les LLM : RoPE à la place des encodages absolus, GeGLU à la place de GeLU, et surtout une attention alternée. Une couche sur trois est globale, les autres utilisent une fenêtre locale de 128 tokens. La complexité d'attention passe donc de O(n²) à O(n × 128) sur deux tiers des couches.
from transformers import AutoTokenizer, AutoModel
tok = AutoTokenizer.from_pretrained("answerdotai/ModernBERT-base")
model = AutoModel.from_pretrained("answerdotai/ModernBERT-base")
batch = tok(["facture n°2026-1043, échéance 30/11",
"avoir émis le 12/10 sur la commande 8841"],
padding=True, truncation=True, max_length=8192)
Un détail qui compte : la base ne fait que de la prédiction de mots masqués. Pour classer ou faire du retrieval, tu la fine-tunes. C'est un backbone, pas un couteau suisse.
8 192 tokens changent le découpage, pas juste le modèle
La plupart des pipelines RAG découpent à 512 tokens parce que l'encodeur l'imposait. Ce n'est plus une contrainte technique, c'est devenu un choix par défaut qu'on recopie sans réfléchir.
Un chunk de 512 tokens, c'est environ 380 mots de français : deux paragraphes, souvent tranchés au milieu d'une phrase. Avec 8 192, une page de documentation entière tient dans une seule séquence, avec son titre et son contexte.
Le corollaire est mécanique : moins de chunks, donc moins de vecteurs à stocker. Sur un embedding en 1 024 dimensions en float32, 4 Go de RAM couvrent environ 1 million de vecteurs, soit 4 000 pages découpées en morceaux de 512 tokens contre 16 000 pages en morceaux de 2 048.
Si tu montes ton propre index, la mécanique de bout en bout (chunking, dimension, quantification) est détaillée dans Configurer un environnement RAG.
Le rerank devient la brique la plus rentable
Le benchmark MTEB aligne 56 jeux de données sur 8 tâches, jusqu'à 112 langues, et plus de 2 000 résultats au classement. Traduction : deux modèles d'embedding à deux points d'écart sur le papier peuvent donner des résultats très différents sur ton corpus.
C'est exactement pour ça que le cross-encoder revient partout. Un reranker de 400 M de paramètres qui reclasse 50 candidats coûte une fraction d'un appel de génération, et corrige les erreurs de tri que l'embedding ne voit pas.
Ordre de grandeur à retenir : retrieval large sur 1 000 documents, puis rerank des 50 meilleurs, puis génération sur les 5 premiers. Tu paies le modèle cher sur 5 documents au lieu de 1 000.
Extraire sans annoter 10 000 phrases
GLiNER répond à un problème très concret : ton modèle NER classique ne connaît que les types d'entités prévus à l'entraînement. Dès qu'on te demande d'extraire « numéro de facture » ou « date d'échéance », il faut réannoter.
Le modèle prend les labels en entrée, en langage naturel, et extrait en parallèle. C'est un encodeur bidirectionnel, donc pas de génération token par token : il sort plus vite qu'un LLM sur la même tâche, et l'article original montre qu'il bat ChatGPT en zero-shot sur plusieurs benchmarks NER.
Je l'ai déjà cité comme brique d'extraction dans Les applications de traitement NLP qui montent. La différence, c'est que ce n'est plus un outil isolé : ça devient l'alternative par défaut à « je demande au LLM de me sortir du JSON ».
Le NLP redevient local
Un encodeur de 149 M en float32, c'est 600 Mo. Quantifié en int8, 150 Mo, et il tourne confortablement sur le CPU d'un laptop récent via ONNX Runtime. Plus de clé API, plus de latence réseau, plus de facture au token.
python -m spacy download fr_core_news_lg
python -c "import spacy; nlp=spacy.load('fr_core_news_lg'); print([e.label_ for e in nlp('Le contrat Liink signé à Nantes le 3 mars.').ents])"
Cette bascule explique une bonne partie du retour des encodeurs : quand l'inférence coûte zéro marginal, tu peux te permettre de traiter 200 000 tickets au lieu d'un échantillon de 2 000.
Trois tendances que j'écarte
- « Un LLM pour tout » : pour classer des tickets en cinq catégories, un encodeur fine-tuné fait le travail en quelques millisecondes, pour des ordres de grandeur moins cher par document. Le LLM gagne sur les cas ambigus, pas sur le volume.
- « Il faut fine-tuner depuis zéro » : tu pars d'un backbone moderne, tu gèles la plupart des couches, tu entraînes la tête. Un jeu de 2 000 exemples étiquetés suffit souvent à battre un prompt bien écrit.
- « Un modèle multilingue universel » : sur du français juridique ou du vocabulaire métier, un modèle plus petit spécialisé garde l'avantage. Le multilingue est un argument de plateforme, pas une décision d'architecture.
Ce que je ferais cette semaine
- Évaluer ton embedding actuel sur 50 requêtes réelles de tes utilisateurs, pas sur MTEB.
- Ajouter un reranker entre la recherche et le LLM, et mesurer l'écart sur ces mêmes 50 requêtes.
- Tester ModernBERT-base en remplacement direct de ton encodeur de classification, sans changer le reste du pipeline.
- Basculer une extraction à labels stables de LLM vers GLiNER, et comparer le coût par 1 000 documents.
- Vérifier ce qui peut tourner en local : tout ce qui n'a pas besoin de raisonnement n'a pas besoin d'un LLM.
Le NLP de 2026 n'est pas plus magique qu'avant. Il est juste mieux outillé, et beaucoup moins cher quand tu arrêtes de demander à un modèle de 400 milliards de paramètres de faire le travail d'un encoder de 149 millions.