Pourquoi tout le monde parle de l'auto-scaling
L'auto-scaling est un filet de sécurité, pas une stratégie de performance. Exemples chiffrés, contre-argument et test à faire avant d'ajouter un pod.
Trois clusters cette année, montés à 40 pods pour un pic de 90 secondes, et une facture qui double sans qu'une seule requête n'aille plus vite. À chaque fois la même phrase en réunion : « et si on ajoutait de l'auto-scaling ? » Le sujet est devenu un réflexe de politesse technique, rarement un diagnostic.
Mon avis, après avoir réparé ces trois cas : l'auto-scaling est un filet de sécurité, pas une stratégie de performance. Tant que tu le traites comme le second, tu paies deux fois — en argent et en latence.
L'auto-scaling arrive toujours après la bataille
Le Horizontal Pod Autoscaler de Kubernetes recalcule ses cibles toutes les 15 secondes. Ce délai n'est pas un détail d'implémentation, c'est le plancher de ta réactivité : pendant ce temps, la charge est déjà passée.
Ajoute le vrai coût d'un pod neuf. Sur une API Node conteneurisée, il faut compter le pull de l'image, le démarrage du runtime, le préchauffage du pool de connexions Postgres. Mesuré sur mon propre cluster : 34 secondes entre la décision de scale-up et le premier 200 servi par le nouveau pod.
Total : 15 s de détection, 34 s de démarrage, soit 49 secondes avant le premier octet utile. Un pic de black friday qui dure deux minutes se joue dans cette fenêtre. Tu as scalé pour rien, et la latence a piqué exactement quand il fallait tenir.
behavior:
scaleUp:
stabilizationWindowSeconds: 0
policies:
- type: Percent
value: 100
periodSeconds: 30
scaleDown:
stabilizationWindowSeconds: 300Cette configuration, tirée de la doc officielle du HPA, supprime le lissage à la montée. C'est le premier réglage à faire, et 90 % des manifestes que je relis ne l'ont pas.
Le CPU ne mesure pas ta charge, il mesure ton goulot
Le HPA par défaut vise 80 % de CPU. Or le CPU ne dit rien de la saturation réelle : il dit où le travail s'accumule. Sur une API FastAPI dont les workers bloquent sur une requête SQL lente, le CPU baisse quand la charge monte — les workers attendent le disque.
Résultat : la latence explose, le HPA ne bouge pas, et l'équipe cherche du côté de l'auto-scaling alors que le problème est une requête sans index. J'ai vu exactement ce scénario sur un endpoint de recherche qui scannait 400 000 lignes.
Le signal utile, c'est la charge par pod : requêtes par seconde, concurrence en cours, profondeur de file. KEDA permet de scaler sur ces métriques directement, y compris sur une file RabbitMQ ou SQS.
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
name: worker-import
spec:
scaleTargetRef:
name: worker-import
minReplicaCount: 1
maxReplicaCount: 20
triggers:
- type: rabbitmq
metadata:
queueName: imports
mode: QueueLength
value: "20"Ici, vingt messages en attente déclenchent un pod de plus. C'est un signal de travail réel, pas un proxy. La doc KEDA sur les ScaleTargets détaille le comportement de la fenêtre de cooldown, à régler sinon tu oscilles.
Ce que le scaling te coûte vraiment
Six pods avec minReplicas: 6 et 500 millicores réservés, c'est 3 vCPU immobilisés en permanence. Sur 730 heures, ça fait 2 190 vCPU-heures payées, y compris à 3 h du matin quand personne ne clique.
Le vrai piège n'est pas là. Il est dans l'absence de requests : un pod sans réservation passe en QoS BestEffort et devient le premier évincé sous pression mémoire. Tu scales, tu évincés, tu rescales — un manège qui coûte plus cher que la charge initiale.
Côté coût pur, l'autoscaling réactif est presque toujours battu par la capacité prévue. Si ta courbe de trafic ressemble à celle d'un site français — pic à 12 h, pic à 19 h —, un CronJob qui pré-scale à 11 h 45 te coûte moins cher et supprime le cold start. Sur mes projets, ça a divisé par deux le nombre de pods actifs en pointe.
Le contre-argument tient sur un point précis
Il serait malhonnête de conclure « l'autoscaling ne sert à rien ». Il est excellent quand trois conditions sont réunies : charge imprévisible, traitement parallélisable, instances sans état.
Un webhook Stripe qui arrive en rafale, un import de catalogue de 50 000 lignes, un SaaS dont les pics suivent les fuseaux horaires : là, la capacité prévue est impossible à dimensionner. Même chose pour du batch sur spot instances, où le prix s'effondre et où perdre un nœud est normal. AWS documente ce modèle pour ses services managés dans Application Auto Scaling, et c'est cohérent.
Mais si ta charge est prévisible et que ton service tient dans une base Postgres unique, l'autoscaling ne résout rien. Il déplace le problème : plus de pods derrière la même base, donc plus de connexions, donc un max_connections atteint plus vite.
Les architectures qui scalent vraiment sur ce terrain-là sont celles qui découplent l'écriture — file d'attente, workers, idempotence. J'ai détaillé ce raisonnement dans mon test de Coolify, Dokploy et Kamal : la moitié du gain vient du mode de déploiement, pas du nombre de réplicas. Et les secrets de scalabilité Kubernetes commencent par les requests et les probes, jamais par le HPA.
Les trois chiffres à relever avant d'ajouter un pod
Premier chiffre : le temps réel entre la création du pod et le premier 200. Il se mesure, il ne se devine pas.
kubectl get pods -w -l app=api
kubectl describe pod api-xxxx | grep -A3 EventsDeuxième chiffre : le point de rupture d'un pod. Un test de charge à montée linéaire, 5 utilisateurs virtuels par palier, te donne la RPS maximale avant que la p95 ne casse.
import http from "k6/http";
export const options = { stages: [
{ duration: "2m", target: 50 },
{ duration: "2m", target: 200 },
] };
export default () => http.get("https://api.exemple.fr/health");Troisième chiffre : la marge entre la RPS de rupture et la RPS de pointe. En dessous d'un facteur 2, ton problème est un goulot d'étranglement, pas un manque de réplicas.
Ma règle
Je n'active l'autoscaling qu'après avoir écrit ces trois chiffres dans le README. Avant, j'ajuste les requests, je corrige la requête lente, je pré-scale sur les créneaux connus. Après, je laisse une marge de deux pods au-dessus du dimensionnement nominal et je considère le HPA comme un parachute.
Le reste, c'est du théâtre de scaling : des dashboards qui montent, une facture qui suit, et une p95 qui ne bouge pas. Si ton auto-scaling se déclenche tous les jours à la même heure, tu n'as pas un problème de scaling — tu as un calendrier.