Les enseignements des déploiements

Le déploiement n'est pas une cérémonie du vendredi. C'est une propriété du système, et la plupart des équipes la confondent avec un rituel de surveillance.

Les enseignements des déploiements

Le déploiement est devenu un rituel. On bloque un créneau, on prévient dans le canal d'équipe, quelqu'un surveille les dashboards pendant vingt minutes et personne ne touche à rien. Ce cérémonial dit une chose très précise : le système n'est pas capable d'absorber du changement sans qu'un humain le regarde.

Un système déployable se reconnaît à une propriété mesurable. Tu peux le mettre à jour un mardi à 14 h, sans que quiconque ouvre Grafana, et le trafic continue. C'est de la conception, pas de la discipline.

Le déploiement est une propriété du système, pas un événement

Quand un déploiement demande une cellule de crise, le problème n'est jamais le déploiement. C'est l'état dans lequel le système se trouve entre deux versions.

Sur mon infra, le test est binaire. Un docker compose up -d sur le VPS doit produire le même état que ce qui sort de la CI, sans SSH correctif. Le jour où j'ai dû me connecter en urgence pour relancer un conteneur après un déploiement, le coupable n'était pas le compose : c'était un pipeline qui ne testait jamais le chemin réel.

Un déploiement qui exige de la vigilance humaine est un déploiement non testé. La vigilance compense l'absence de vérification, elle ne la remplace pas.

Onze minutes de 404 avec tous les conteneurs en Ready

Un vendredi de mars, je pousse un changement de labels Traefik sur un stack Coolify. Le routeur recharge en 400 ms, les trois conteneurs passent healthy, la CI affiche du vert. Et le site renvoie des 404 pendant onze minutes.

La cause tenait à un backtick parasite dans une règle de routeur : la route publique pointait vers un service qui n'existait pas. Le healthcheck, lui, interrogeait le port interne du conteneur. Il répondait 200 sur un service que personne ne pouvait joindre.

La leçon est brutale et je la répète à chaque revue : un déploiement réussi, ce n'est pas un déploiement dont les conteneurs sont prêts. C'est un déploiement dont l'URL publique répond avec le bon contenu. Le curl de post-déploiement sur l'adresse réelle, pas sur localhost:3000, aurait attrapé ça en deux secondes.

« On rollback, c'est réglé » — non

L'objection revient toujours, et elle est séduisante : revenir à l'image précédente, l'incident s'arrête, on analyse à froid. C'est vrai pour le binaire. C'est faux pour tout ce qui a bougé autour.

Une migration de base ne se défait pas. Un schéma d'événement modifié non plus. Un champ rendu obligatoire côté API encore moins : l'ancienne version reçoit des payloads qu'elle ne sait plus lire.

J'ai vécu exactement ça. Rollback d'image en 90 secondes, service de nouveau en ligne, et des 500 en cascade parce que la colonne ajoutée trente minutes plus tôt était désormais NOT NULL et que le code d'avant ne la remplissait pas. Le service était revenu, les utilisateurs voyaient une erreur.

Un rollback n'est pas une stratégie, c'est un outil de dernier recours. Si ton plan de déploiement tient sur une seule commande inverse, ton plan est incomplet. J'ai détaillé ce point dans les limites des rollbacks trop souvent ignorées, et je maintiens la conclusion : la réversibilité se conçoit avant le déploiement, pas pendant l'incident.

Les métriques DORA mesurent la douleur, pas la qualité

Fréquence de déploiement, lead time, MTTR, change failure rate. Les quatre clés DORA décrivent un flux de travail. Elles ne disent rien de ce que vivent les utilisateurs.

Une équipe peut déployer quarante fois par jour avec 2 % d'échec et rester cassée si ces 2 % tombent sur le tunnel de paiement. Le tableau de bord est excellent, le produit est en panne.

J'ai arrêté de viser la fréquence. Je regarde deux chiffres qui ne figurent dans aucun rapport : combien de déploiements ont demandé une action manuelle après coup, et combien ont été reportés pour une raison non technique — une réunion, une peur, un vendredi. Le second est le plus révélateur. Il mesure la confiance réelle de l'équipe dans son propre système.

Le manifeste dit ce que tu crois, pas ce que tu fais

Un déploiement Kubernetes bien réglé ne rend rien sûr par magie. Il rend tes hypothèses lisibles, ce qui est déjà beaucoup.

spec:
  replicas: 3
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 0
      maxSurge: 1
  progressDeadlineSeconds: 300
  minReadySeconds: 10

Ces quatre lignes racontent une conviction : je préfère un déploiement lent qui ne coupe rien à un déploiement rapide qui coupe. maxUnavailable: 0 interdit de descendre sous le nombre de réplicas disponibles, maxSurge: 1 ajoute la capacité avant de retirer l'ancienne.

progressDeadlineSeconds: 300 est la ligne que la plupart des manifestes oublient. Sans elle, un rollout bloqué reste indéfiniment en Progressing et aucune alerte ne part. Avec elle, Kubernetes marque le déploiement en échec au bout de cinq minutes et ton pipeline peut réagir. La documentation officielle des Deployments décrit le mécanisme, mais elle ne dit pas à quel point l'absence de cette ligne est fréquente en production.

Côté stratégie globale, le choix entre rolling, blue-green et canary mérite d'être posé consciemment : j'ai détaillé les arbitrages dans comment bien choisir sa stratégie de déploiement.

Trois règles que j'applique maintenant

Après assez d'incidents, on finit par réduire la doctrine à quelques réflexes. Voici les miens, dans l'ordre de ce qu'ils m'ont coûté.

  1. Vérifier le chemin utilisateur, pas le statut des conteneurs. Un curl -f https://service/_health sur l'URL publique, avec le bon Host, dans le pipeline. Tout le reste est de la décoration.
  2. Chaque déploiement est réversible en une commande, ou documenté comme irréversible. Une migration destructrice se déclare dans le ticket avant le déploiement, pas après.
  3. Le vendredi n'est pas interdit. Ce qui est interdit, c'est de déployer sans savoir revenir en arrière. Interdire le vendredi traite le symptôme et laisse le système fragile six jours sur sept.

Cette troisième règle dérange, et c'est le but. Une équipe qui ne déploie pas le vendredi ne déploie pas sereinement le lundi : elle déploie le lundi avec la même peur, dans un créneau plus acceptable socialement.

La prod apprend ce que la doc ne dit pas

Le post-mortem sans reproche de Google reste la meilleure matrice pour transformer un incident en connaissance : la culture post-mortem du SRE Book explique pourquoi le blâme détruit l'information. Ce que la doc ne transmet pas, c'est le coût réel d'un déploiement qui échoue silencieusement.

Mes déploiements ne sont pas devenus fiables en ajoutant des outils. Ils le sont devenus en supprimant les angles morts : le healthcheck qui ne vérifie pas la bonne chose, la métrique qui ne mesure pas le bon chemin, le rollback qui ne restaure pas l'état complet.

Le jour où ton déploiement ne demande plus de vigilance, tu n'as pas gagné en discipline. Tu as gagné en conception.