Retour d'expérience : 30 jours après le déploiement

Un mois de déploiements quotidiens, 62 mises en prod et 4 rollbacks plus tard : les chiffres, les outils qui ont tenu, et ce qui a cassé.

Retour d'expérience : 30 jours après le déploiement

30 jours, 62 déploiements, 4 rollbacks

Le 13 octobre, on est passé d'une mise en production hebdomadaire à un déploiement par jour ouvré. Trente jours plus tard, le compteur affiche 62 déploiements, 4 rollbacks et un délai moyen entre le commit et la prod tombé de 3 jours à 4 heures.

Ce n'est pas un exploit. C'est surtout la preuve que la fréquence révèle les faiblesses que la rareté cachait.

Voilà ce que j'en retire, sans filtre.

Les métriques qui comptent vraiment

J'ai suivi les quatre indicateurs du guide DORA plutôt que le nombre de tickets fermés. Résultat brut sur la période :

  • Fréquence : 62 déploiements, soit 2,8 par jour ouvré.
  • Lead time : 4 h 10 en médiane, contre 3 jours avant.
  • Taux d'échec : 6,4 % (4 rollbacks sur 62).
  • MTTR : 11 minutes, contre 47 minutes au démarrage.

Le chiffre qui m'a surpris n'est pas la fréquence, c'est le MTTR. Déployer souvent rend le retour arrière banal, donc plus rapide.

Le rapport DORA 2024 dit la même chose autrement : la vélocité sans capacité de restauration est un pari, pas une pratique.

Les trois outils qui ont porté le reste

Rien d'exotique. Trois briques, installées en une après-midi, qui ont fait 80 % du travail.

  • Argo Rollouts pour le canari : 10 % du trafic pendant 5 minutes, analyse automatique des erreurs 5xx, promotion ou rollback sans intervention.
  • Un dashboard de fréquence branché sur les webhooks GitLab, avec une seule question affichée : « à quand le dernier déploiement réussi ? ».
  • Des sondes de readiness honnêtes : avant, /healthz renvoyait 200 même quand la base était injoignable. Depuis, le pod ne reçoit du trafic qu'une fois la connexion PostgreSQL établie.

Le canari a attrapé deux régressions que la CI n'aurait jamais vues : une fuite mémoire sur un worker et une régression de latence p95 sur une route de recherche.

Le goulot n'était pas l'outillage

Avis tranché : la CI n'a jamais été le problème. Le vrai frein, c'était la revue de code qui traînait 26 heures en moyenne et la peur de casser.

On a réduit le pipeline de 14 à 6 minutes en parallélisant les tests et en supprimant deux étapes de lint redondantes. Personne n'a rien remarqué. En revanche, passer la revue obligatoire à un seul relecteur avec un SLA de 4 heures a changé la dynamique en une semaine.

Autrement dit : optimise le temps d'attente humain avant de toucher à ta CI. Ça coûte zéro euro.

Ce qui a cassé, et ce que je referais autrement

Quatre incidents, tous instructifs. Deux venaient du même angle mort.

  • Une migration non réversible a transformé un rollback en restauration de sauvegarde de 40 minutes. Depuis, chaque migration passe par une colonne temporaire et un script de retour testé en préprod.
  • Un rollback « propre » qui ne l'était pas : l'image précédente était toujours en cache, mais le schéma avait avancé. Le déploiement est revenu vert, l'application non. J'en ai tiré un article sur les limites des rollbacks trop souvent ignorées.
  • Un canari faussé par une session sticky qui envoyait 100 % du trafic d'un client de test sur la nouvelle version.
  • Un secret expiré découvert en prod, alors qu'il était injecté depuis Bitwarden au démarrage du process. Une rotation non documentée.

Le point commun : on avait automatisé le déploiement, pas la vérification après déploiement.

Le rituel qui vaut plus que n'importe quel outil

Chaque vendredi, 15 minutes, trois colonnes au tableau : ce qui a été déployé, ce qui a été rollbacké, ce qui a surpris. Pas de post-mortem formel, pas de document de 10 pages.

Sur 4 semaines, ce rituel a produit 11 actions concrètes, dont 7 ont fini en code la semaine suivante. C'est le meilleur ratio effort/résultat de tout le dispositif, et de loin.

Ce que je surveille le mois prochain

Trois choses, dans cet ordre : le taux de rollback par service (pas globalement), le temps de restauration d'une base après erreur humaine, et la part de déploiements effectués par une seule personne.

Le dernier indicateur est le plus parlant. Si un seul nom apparaît sur 80 % des mises en production, tu n'as pas un pipeline, tu as une dépendance.

Si tu veux situer tes propres chiffres, le retour sur les coulisses de notre quotidien DevOps complète bien ce bilan.