Les limites des rollbacks trop souvent ignorées
Migration non réversible, consumers N-1 qui rejettent les nouveaux messages, webhooks déjà partis, PITR chronométré : les cinq limites d'un rollback, et la checklist que j'applique avant de promettre une marche arrière.
Le tableau de bord affichait « rollback terminé » à 09h12. À 09h40, la facturation refusait toutes les commandes créées depuis la veille : la migration de 08h55 avait supprimé la colonne legacy_total, et remettre l'image d'avant ne l'a pas fait réapparaître.
Voilà la limite que personne n'écrit dans un runbook : un rollback défait le code, pas le temps. Ton binaire revient en arrière, ton schéma, tes données et tes effets de bord restent exactement là où le déploiement les a laissés.
Après trois incidents de ce genre en deux ans, j'ai banni l'expression « déploiement réversible » de mes revues. Je parle de code réversible, ce qui n'est pas la même promesse. Voici les cinq limites qui reviennent à chaque fois, et ce que je vérifie à la place.
Un rollback ne défait que le code
Ton pipeline reverse une image, une ConfigMap et un Deployment. Il ne reverse pas le ALTER TABLE exécuté par le job de migration trois minutes plus tôt.
PostgreSQL sait annuler une transaction encore ouverte, pas une migration validée. Un DROP COLUMN commité ne se récupère que par restauration à un point antérieur, jamais par une commande inverse.
La seule mécanique fiable s'appelle expand/contract, et elle coûte trois déploiements pour une colonne :
-- v N : on ajoute, on ne supprime rien
ALTER TABLE orders ADD COLUMN total_cents bigint;
-- v N+1 : le code écrit dans les deux colonnes
UPDATE orders SET total_cents = round(total * 100);
-- v N+2 : la suppression, quand plus rien ne lit l'ancienne
ALTER TABLE orders DROP COLUMN legacy_total;Chaque étape est réversible. Et je le vérifie sur une copie, pas dans ma tête : si le rollback de N+1 casse sur un NOT NULL oublié, autant le savoir avant 3h du matin.
Le binaire d'hier ne lit pas les données d'aujourd'hui
Un code réversible ne suffit pas si la version N-1 ne comprend pas les lignes écrites par la N. Cas classique : N ajoute le champ currency obligatoire dans un message de file, N-1 rejette tout ce qui arrive avec une erreur de désérialisation.
Le consumer resté en N-1 accumule alors du retard, et le rollback transforme une panne de dix minutes en panne d'une heure, le temps de purger ou de rejouer la file. Rien dans le cluster ne signale l'erreur : le pod est Ready, les métriques HTTP sont vertes.
Ma règle est simple : N doit rester lisible par N-1 pendant toute la fenêtre de déploiement. Un champ qui doit devenir obligatoire passe d'abord par une valeur par défaut côté consumer, une version plus tard par une validation stricte. AWS détaille cette compatibilité descendante dans son guide sur la sécurité des rollbacks, et l'exemple des files y est le plus parlant.
kubectl rollout undo n'annule pas ce qui s'est déjà exécuté
La commande remet le ReplicaSet précédent en service, et s'arrête là. Elle n'annule ni les 4 000 emails partis, ni les webhooks reçus par les partenaires, ni le CronJob de réconciliation qui a tourné à 09h00 avec le nouveau code.
J'ai vécu la version webhook : déploiement à 09h00 avec un payload changé, rollback à 09h20. Les partenaires avaient reçu vingt minutes de messages dans un format qu'ils ne savaient pas lire, et le rollback n'a rien réparé, il a seulement arrêté l'hémorragie.
Même piège côté cluster : un kubectl rollout status au vert ne dit rien de la santé applicative. Des pods prêts avec un pool de connexions saturé, c'est un rollback « réussi » qui ne sauve personne. Le quotidien d'une équipe DevOps ressemble davantage à ces vingt minutes-là qu'aux démos de pipeline.
Restaurer une base coûte des heures, pas des minutes
Quand le rollback ne suffit plus, le plan B s'appelle PITR. Sur une base de 200 Go, une restauration complète prend de 45 minutes à 3 heures selon le stockage, et elle ramène toutes les données au point choisi, y compris celles écrites légitimement entre-temps.
J'ai chronométré la dernière : 1h52 pour 200 Go sur un disque réseau, sans compter la reprise des consumers et le rattrapage. Une équipe qui n'a jamais lancé cette restauration n'a pas de RTO, elle a un espoir.
Le test tient en une après-midi par trimestre : restauration sur une instance jetable, un SELECT count(*) sur trois tables critiques, puis suppression. Le reste, c'est de la littérature.
Le contre-argument : rollback d'abord, réfléchir ensuite
« Rollback first, ask questions later » est un excellent réflexe, et je l'applique sans état d'âme sur un service qui ne touche ni schéma, ni file, ni stockage. Revenir en quarante secondes bat n'importe quelle analyse, et personne ne battra ce MTTR.
Le problème n'est pas le rollback, c'est de le croire universel. Sur un changement d'état, il joue le rôle d'un disjoncteur, pas d'une machine à remonter le temps. La bonne réponse devient alors le correctif en avant, avec un feature flag pour couper la fonctionnalité sans redéployer.
Google ne dit pas autre chose : le chapitre release engineering du SRE book place le rollback rapide parmi les mécanismes qui font baisser le MTTR, à côté des canary releases. Simplement, personne n'y prétend qu'un rollback efface une migration.
Encore faut-il tenir les flags. Le catalogue de Pete Hodgson et Martin Fowler distingue les bascules de release, jetables, des bascules d'exploitation, permanentes. Mélanger les deux, c'est finir avec 60 flags dont personne ne sait lesquels sont morts. J'en ai vu un rester à true pendant onze mois après le lancement de la fonctionnalité qu'il devait couvrir.
Ce que je vérifie avant de dire qu'un déploiement est réversible
Cinq points, relus avant chaque mise en production qui touche à l'état :
- La migration est additive et la version N-1 du code tourne encore sur le nouveau schéma.
- Aucun job destructif (purge, réindexation, réconciliation) ne tombe dans la fenêtre de rollback.
- Les effets de bord externes passent par un flag ou une file rejouable, pas par un appel direct.
- Le temps de restauration PITR a été mesuré sur une copie, pas estimé sur un coin de table.
- Le rollback N-1 a été joué en préproduction, contre des données écrites par N.
Il manque une ligne ? Le déploiement n'est pas irréversible, il est réversible avec une perte que personne n'a chiffrée. C'est le même raisonnement que pour l'isolation : un namespace qui ressemble à une frontière n'en est pas une, comme je le détaillais dans les limites des namespaces.
La question que je pose en revue n'est plus « peut-on rollback ? » mais « qu'est-ce qui ne reviendra pas ? ». La réponse tient souvent en une phrase. C'est cette phrase qui manque dans 90 % des runbooks que j'ai lus.