Le bare metal avancé : techniques et astuces

Du BMC au BGP : les techniques qui séparent un serveur posé dans un rack d'une machine réellement opérée.

Le bare metal avancé : techniques et astuces

Pourquoi le bare metal revient dans les racks

Le marché a longtemps tranché sans débat, comme le rappelle notre analyse du bare metal côté experts. Le cloud a gagné la décennie 2015 sur un argument imparable : zéro capex, zéro matériel à racker. Cet argument s'effrite dès que ta charge tourne 24/7 sur des cœurs saturés.

Un Dell R760 neuf, 32 cœurs, 512 Go de RAM, 8 To de NVMe, s'amortit en 14 à 20 mois face à trois instances cloud équivalentes. Passé ce point, tu loues du matériel que tu possèdes déjà.

Le prix à payer n'est pas technique, il est opérationnel : personne n'appuie sur un bouton « remplacer le disque » à ta place à 3 h du matin.

Le BMC : ton seul point d'entrée qui survit à tout

Chaque serveur sérieux expose un contrôleur de gestion — iDRAC, iLO, IPMI Supermicro — joignable même quand l'OS est éteint. C'est ta console de dernier recours, et elle parle HTTP.

Redfish remplace progressivement IPMI avec une API REST lisible : allumage, source de boot, capteurs, firmware, tout passe par des URI prévisibles. Aucun agent à installer côté système.

# État du serveur et prochaine cible de boot, sans agent
curl -sk -u admin:motdepasse \
  https://10.0.0.5/redfish/v1/Systems/1 | jq '{PowerState, Boot}'

# Forcer un boot PXE une seule fois
curl -sk -u admin:motdepasse -X PATCH \
  -H 'Content-Type: application/json' \
  -d '{"Boot":{"BootSourceOverrideEnabled":"Once","BootSourceOverrideTarget":"Pxe"}}' \
  https://10.0.0.5/redfish/v1/Systems/1

Les trois commandes qui sauvent une nuit

Quand le réseau de management est ta seule voie d'accès, tu vis avec ipmitool. Ces trois commandes couvrent 90 % des incidents matériels.

ipmitool -I lanplus -H 10.0.0.5 -U admin -P motdepasse chassis power cycle
ipmitool -I lanplus -H 10.0.0.5 -U admin -P motdepasse sol activate
ipmitool -I lanplus -H 10.0.0.5 -U admin -P motdepasse sel list | tail -20

Exemple concret : un nœud bloqué en POST après l'ajout d'une barrette mémoire. Le power cycle ne change rien, mais le SEL affiche une erreur ECC non corrigeable sur le slot B2 — la barrette est morte, pas le serveur.

Garde la console SOL ouverte pendant les maintenances : c'est la seule chose qui te montre le BIOS quand l'OS ne répond plus.

Provisionner sans écran ni clavier

Le cycle de vie d'un nœud nu tient en quatre étapes : découverte, boot réseau, installation, configuration. Chacune a son outil, et le mélange des quatre dans un script maison est la première source de dette.

OutilRôleQuand le choisir
PXE / iPXEBoot réseau brutTu as déjà une infra DHCP/TFTP et 3 serveurs
netboot.xyzMenu de boot multi-distrosRéinstaller à la main, tester un ISO en 30 s
MAASInventaire + provisionnement completParc Canonical/Ubuntu, besoin de GUI
TinkerbellProvisionnement piloté par workflowParc homogène, templates versionnés en Git

Un environnement Ansible bien posé prend le relais juste après l'installation pour la configuration. Un simple fichier iPXE suffit à démarrer une installation automatisée, sans toucher au DHCP existant.

# /srv/tftp/boot.ipxe
#!ipxe
dhcp
kernel http://10.0.0.10/ubuntu/vmlinuz autoinstall ds=nocloud-net;s=http://10.0.0.10/seed/ ip=dhcp
initrd http://10.0.0.10/ubuntu/initrd
boot

Exemple concret : 40 nœuds Supermicro remis à neuf en 25 minutes, en bouclant le même template Tinkerbell avec un metadata.yaml différent par hostname.

Le vrai gain n'est pas la vitesse, c'est la reproductibilité : un nœud remplacé sort identique au précédent, configuration réseau comprise.

Stockage : RAID matériel, ZFS ou Ceph

Le RAID matériel te donne un disque de secours invisible et une batterie de cache. Tu le paies en opacité : le jour où le contrôleur meurt, tu rachètes le même modèle ou tu perds les données.

ApprocheForceFaiblesse
RAID matérielCache batterie, remplacement à chaud trivialVerrouillage constructeur, rebuild aveugle
ZFSChecksums, snapshots, compression, scrubsRAM, pas d'extension de vdev
CephRéplication entre nœuds, scale-out3 nœuds minimum, réseau 25 GbE conseillé

Sur un serveur unique, ZFS reste le meilleur compromis : il détecte la corruption silencieuse que le RAID matériel laisse passer sans broncher.

# SSD NVMe 4Kn : ashift=12 obligatoire, recordsize adapté à la charge
zpool create -o ashift=12 -O compression=lz4 -O atime=off \
  tank raidz2 /dev/nvme0n1 /dev/nvme1n1 /dev/nvme2n1 /dev/nvme3n1

# Base de données : petits blocs. Fichiers séquentiels : gros blocs.
zfs create -o recordsize=16K tank/pgdata
zfs create -o recordsize=1M  tank/backups

Exemple concret : recordsize laissé à 128K sur un cluster PostgreSQL fait gonfler l'amplification d'écriture de 40 %. Le passer à 16K divise les IOPS inutiles sans toucher au reste.

Programme un scrub mensuel et un zpool status hebdomadaire, sinon tu découvres la panne au moment de restaurer.

Le noyau : isolation, hugepages, NUMA

Une fois le matériel en place, 30 % des performances se gagnent dans la ligne de commande du bootloader. Les valeurs par défaut du noyau visent le desktop, pas un serveur sous charge constante.

# /etc/default/grub — cœurs 8 à 31 réservés à l'application
GRUB_CMDLINE_LINUX="isolcpus=8-31 nohz_full=8-31 rcu_nocbs=8-31 \
  default_hugepagesz=1G hugepagesz=1G hugepages=32 \
  intel_iommu=on iommu=pt processor.max_cstate=1"

update-grub && reboot

La liste complète des paramètres noyau documente chaque option, y compris les interactions entre isolcpus et rcu_nocbs. isolcpus sort les cœurs du scheduler général, nohz_full supprime les interruptions périodiques, hugepages évite le coût des fautes de page sur la mémoire partagée.

Complète avec un profil tuned plutôt que des sysctl éparpillés : tuned-adm profile latency-performance applique un jeu cohérent et réversible.

Exemple concret : sur une chaîne de traitement d'événements en temps réel, l'isolation des cœurs plus max_cstate=1 fait tomber la gigue de 400 µs à 30 µs. Aucun changement de code applicatif.

Réseau : bonding, SR-IOV et BGP

Deux cartes réseau, un switch : le minimum vital pour survivre à la perte d'un lien. Le bonding LACP reste la base, à condition que le switch soit configuré en MLAG ou en stack.

# Netplan : bond LACP avec hash layer3+4
network:
  version: 2
  bonds:
    bond0:
      interfaces: [enp3s0f0, enp3s0f1]
      parameters: {mode: 802.3ad, lacp-rate: fast, transmit-hash-policy: layer3+4}
      addresses: [10.0.0.20/24]
      routes: [{to: default, via: 10.0.0.1}]

layer3+4 répartit par flux et non par destination, ce qui évite le scénario classique : un seul client sature un lien pendant que l'autre dort.

Pour les VM et les conteneurs, SR-IOV donne une carte virtuelle quasi native. Active les VF côté firmware puis déclare-les côté noyau ; le gain se mesure en microsecondes sur la latence réseau.

Avec Kubernetes sur metal, kube-vip remplace le load-balancer du cloud par un Service annoncé en BGP depuis les nœuds eux-mêmes.

apiVersion: kube-vip.io/v1alpha1
kind: Service
metadata:
  name: ingress-vip
  annotations:
    kube-vip.io/loadbalancerIPs: 192.0.2.100
spec:
  type: LoadBalancer
  ports:
    - {name: https, port: 443, targetPort: 8443}

Observer le silicium, pas seulement l'application

En cloud, le disque qui meurt est un événement abstrait. Sur metal, tu reçois un mail du contrôleur RAID et c'est à toi de lire entre les lignes.

# Santé des disques et des barrettes, une fois par jour
smartctl -a /dev/nvme0n1 | grep -E 'Percentage|Media and Data'
ipmitool sel elist | grep -iE 'correctable|ecc|temp'
grep -E 'CE|UE' /sys/devices/system/edac/mc/mc*/ce_count

rasdaemon centralise les erreurs EDAC et MCE dans une base SQLite interrogeable. C'est le seul moyen de voir une barrette se dégrader sur trois semaines avant qu'elle ne tombe.

Exemple concret : 12 erreurs ECC corrigeables sur un même slot en une semaine, zéro impact applicatif. La barrette remplacée sous garantie aurait évité un crash un mois plus tard.

Ajoute un agent léger type Beszel ou node_exporter pour les métriques, mais garde SMART et SEL en local : ils doivent fonctionner même quand le réseau de management est down.

Firmware : ce que le cloud fait mieux que toi

Le cloud patche le BIOS à ta place, la nuit, sans que tu le saches. Sur metal, cette tâche te revient, et c'est celle qu'on repousse le plus longtemps.

Redfish expose SimpleUpdate et UpdateService : tu pousses une image constructeur par URL et le BMC applique la mise à jour avant le prochain boot.

curl -sk -u admin:motdepasse -X POST \
  -H 'Content-Type: application/json' \
  -d '{"ImageURI":"https://fw.local/bios-2.15.1.bin","TransferProtocol":"HTTPS"}' \
  https://10.0.0.5/redfish/v1/UpdateService/Actions/UpdateService.SimpleUpdate

Traite les firmware comme du code : une version par génération de matériel, un nœud pilote d'abord, le reste 48 heures plus tard.

Exemple concret : une flotte de 20 nœuds hétérogènes où trois BIOS différents cohabitent produit des comportements NUMA incohérents. Uniformiser le firmware a réglé un bug de placement de mémoire apparu nulle part dans les logs applicatifs.

Les pièges qui coûtent une nuit blanche

PiègeSymptômeParade
Pas de console sérieInstallation muette, aucune idée du blocageconsole=ttyS0,115200 dans le noyau et le bootloader
BMC sur le réseau applicatifUne boucle réseau coupe aussi le secoursVLAN de management séparé, accès hors bande
Pas de plan d'adressageIP en conflit après un remplacement de carteDHCP réservé par MAC dans l'inventaire
RAID sans hot spareRebuild aveugle sur un disque déjà fatiguéHot spare + alerte sur l'âge des disques
Doc dans un wiki mortLe seul qui sait est en vacancesRunbook dans Git, à côté du code de provisioning

Le piège le plus coûteux reste l'absence de console série. Sans elle, un serveur qui refuse de booter après une mise à jour noyau ne te laisse que le BMC et beaucoup de patience.

FAQ

Faut-il du bare metal pour faire tourner Kubernetes ?

Non, mais le calcul change au-delà d'une dizaine de nœuds ou quand tu as besoin de GPU et de disques locaux rapides. Sur metal, tu supprimes la couche de virtualisation et le coût du trafic sortant, au prix du provisionnement à gérer toi-même.

Combien de temps pour provisionner un nœud nu ?

Quarante minutes pour un rack et un câblage, cinq à dix minutes pour l'installation automatisée, et le reste en configuration. Avec un template Tinkerbell ou une autoinstall Ubuntu, l'installation devient la partie la plus courte du cycle.

Quelles spécificités pour les nœuds GPU ?

IOMMU obligatoire, groupes IOMMU vérifiés par GPU, et alimentation dimensionnée pour la consommation en pointe. Un seul GPU mal placé derrière un pont PCIe partagé suffit à brider tout le nœud.

Quel monitoring minimal pour démarrer ?

SMART sur chaque disque, capteurs IPMI toutes les cinq minutes, compteurs EDAC et un check de la sortie zpool status. Ces quatre signaux couvrent la majorité des pannes matérielles avant qu'elles ne deviennent des incidents.

Le bare metal ne redevient pas à la mode par nostalgie. Il redevient rentable dès que tu acceptes d'automatiser ce que le cloud automatisait pour toi — et c'est exactement là que se joue la différence entre une ferme de serveurs et un data center.