Différences

Ci-dessous, les différences entre deux révisions de la page.

--- raid_logiciel [Le 27/10/2020, 17:53]
88.122.224.21 [Comment migrer les données vers une nouvelle machine ?]
+++ raid_logiciel [Le 17/08/2021, 15:36]
88.122.224.21 [Test]
@@ Ligne 83: / Ligne 83: @@
-Info : Pour des partitions de plus de 2.2To, il faut utiliser "gdisk", de la même manière
+Info : Pour des partitions de plus de 2.2To, <del>il faut</del> utiliser "gdisk", de la même manière (fdisk semble gérer les tables de partition GPT à ce jour)
 <code>
 sudo gdisk /dev/sdX
@@ Ligne 212: / Ligne 212: @@
 sudo mdadm --manage /dev/md0 --add /dev/sdf1
 </code>
 Ensuite étendre l'array sur ces nouvelles partitions :
 <code>
@@ Ligne 225: / Ligne 223: @@
 watch cat /proc/mdstat
 </code>
+<note help>Cette opération peut être **extrêmement longue**  (regardez le débit) <code bash>cat /proc/mdstat
+Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
+md50 : active raid5 sdd5[1] sdd10[6] sdd7[3] sdd4[0] sdd9[5] sdd6[2] sdd8[4]
+      51900416 blocks super 1.2 level 5, 512k chunk, algorithm 2 [7/7] [UUUUUUU]
+      [>....................]  reshape =  0.3% (99836/25950208) finish=566.0min speed=760K/sec
+</code> Elle bloque quasiment l'accès au disque: gparted se bloque, les applications qui accèdent  à ce raid se bloquent, un arrêt machine se bloque.  Heureusement le redémarrage se passe sans difficulté avec reprise de l'opération!</note>
+Lorsque l'agrandissement (reshape) est terminé, mdadm va exécuter automatiquement la synchronisation des disques   qui est une opération moins lente.
+<code bash> cat /proc/mdstat
+Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
+md50 : active raid5 sdd5[1] sdd10[6] sdd7[3] sdd4[0] sdd9[5] sdd6[2] sdd8[4]
+      155701248 blocks super 1.2 level 5, 512k chunk, algorithm 2 [7/7] [UUUUUUU]
+      [==>..................]  resync = 10.1% (2621812/25950208) finish=93.5min speed=4157K/sec </code>
-Une fois le reshape fait, il vous faudra agrandir votre partition ext4 (ou similaire) via resize2fs.
+Une fois l'opération  finie, il vous faudra agrandir votre partition ext4 (ou similaire) via resize2fs.
 <code>
 sudo resize2fs /dev/md0
@@ Ligne 241: / Ligne 251: @@
 configuration --enable-libparted-dmraid --enable-online-resize
 libparted 3.3 </code>
+{{:mdadm:mdadm01.png?200|}}
+Quelques extraits récupérés du log.
+<code bash>e2fsck -f -y -v -C 0 '/dev/md50'  00:01:53    ( SUCCÈS )
+Passe 1 : vérification des i-noeuds, des blocs et des tailles
+L'arbre d'extent de l'i-noeud 2752601 (au niveau 2) pourrait être plus étroit. Optimiser ? oui
+resize2fs -p '/dev/md50'  00:01:44    ( SUCCÈS )</code>
 </note>
+==== Que faire pour agrandir l'array ? - Remplacer les disques ====
+Ce choix n'est probablement pas le premier auquel on pense. Cependant lorsque les disques initiaux sont anciens et qu'ils approchent les 100000 heures de fonctionnement, il faut envisager de les remplacer par des disques de plus grande capacité. Les disques doivent être remplacés les uns après les autres. Lorsque le dernier disque aura été remplacé, il sera possible d'utiliser la nouvelle capacité. La procédure proposée est la suivante:\\
+) Lancer l'application smartctl pour tous les disques à remplacer. Consulter les retours pour trouver un ordre de changement. il y a probablement des disques en plus mauvais état que d'autres.\\
+) Déclarer un disque inutilisable. La commande se fait en quelques secondes.
+<code bash>sudo mdadm --manage /dev/md0 --fail /dev/sdb1 --remove /dev/sdb1 </code>
+) Vérifier que le disque n'a plus rien d'utilisé. Il peut  posséder d'autres partitions qu'il faudra alors traiter.
+<code bash>sudo fdisk -l /dev/sdb</code>
+) Démonter le disque et le remplacer par le nouveau disque. Cette opération peut nécessiter  un arrêt de la machine gérant le raids.\\
+) Formater le nouveau disque. Il conservera certainement le même nom. Il faut lui créer une table de partition GPT. Il faut lui remettre les "autres partitions" si l'ancien disque en avait puis créer une partition utilisant la totalité de l'espace disque restant. Il ne faut surtout pas créer une partition qui a la taille de l'ancienne partition.\\
+) Mettre le disque dans le circuit et  regarder la remise en état se faire.
+<code bash>sudo mdadm --manage /dev/md0 --add /dev/sdb1
+watch -n 60 cat /proc/mdstat</code>
+) Lorsque tous les disques opérationnels sont traités, identifier et supprimer tous les disques de secours s'il en existe.
+<code bash>sudo mdadm --detail /dev/md0 | grep spare
+sudo mdadm --manage /dev/md0 --remove /dev/sdx1  /dev/sdy1 /dev/sdz1</code>
+) Procéder à l'agrandissement du RAID, du système de fichier et  regarder l'agrandissement du système de fichier se réaliser.
+<code bash>sudo mdadm --grow /dev/md0 --size=max
+sudo mdadm --detail /dev/md0 | grep Size
+sudo resize2fs /dev/md0</code>
 ==== Que faire lorsqu'un des composants de l'Array vient à défaillir ? ====
@@ Ligne 275: / Ligne 314: @@
 Maintenant vous devez patienter, le temps que le volume Raid se reconstruise. Pendant cette phase de reconstruction les performances peuvent être altérées. Mais la reconstruction ralentit si vous avez besoin des disques.
+==== Que faire pour diminuer l'array ? - Supprimer un disque? ====
+Le besoin de supprimer définitivement un disque d'un RAID est certainement rare.
+La documentation pour cette réalisation n'est pas pléthorique. Voici une proposition de mode d'emploi testée en version 20.04 sur un RAID5 composé de six entités.\\
+Cela est certainement valable pour les  RAID6.\\
+Les essais réalisés montrent que le risque est inexistant si des arrêts accidentels ont lieu pendant l'opération.\\
+Le principe est de d'abord rétrécir le contenu avant le contenant.\\
+Il n'y a pas d'outil contrôlant que la taille du système de fichier  va devenir supérieure à la taille de l'enveloppe RAID.\\
+Il n'y a pas d'outil réalisant cette opération de façon automatique.\\
+Si la réalisation manuelle est mal faite, les données utilisateurs sont irrémédiablement perdues.\\
+Il faudra démonter le RAID pendant  une opération.\\
+) Trouver la taille que peut héberger une unité physique du RAID.  L'unité de mesure est le KiB.
+<code bash>        sudo mdadm --detail /dev/md55 |grep "Dev Size"
+        Used Dev Size : 5237760 (5.00 GiB 5.36 GB) </code>
+) Trouver la taille actuelle occupée par les données du RAID.\\
+Supprimer d'abord les répertoires et les fichiers que vous considérez inutilement stockés dans le RAID puis regarder la taille utilisée.
+<code bash>        df -B 1024 |egrep "/dev/md55|Utilisé"
+        Sys. de fichiers blocs de 1K    Utilisé Disponible Uti% Monté sur
+        /dev/md55           15335408   11207536    3325832  78% /media/RAID55</code>
+En déduire le nombre de disques nécessaires et la taille du système de fichier.\\
+Nombre de disques =  taille du système de fichier utilisé divisé par la taille d'une unité physique arrondi à l'unité supérieure et éventuellement  un de plus si le résultat de la division est très proche de l'unité supérieure. \\
+Taille du système de fichier= Nombre de disques trouvés multiplié par la taille d'une unité physique.\\
+**Nombre de disques devant rester dans le RAIDS: Ajouter 1 (RAID5) ou 2 (RAID6) pour prendre en compte l'existence du "disque de parité."**\\
+Ici dans le contexte 4 et 15713280 \\
+) Démonter le raids. Il ne va plus être disponible pendant les deux opérations de réduction de taille ci-dessous. C'est une contrainte du logiciel de base.
+<code bash>         sudo umount -v /dev/md55 </code>
+) Contrôler le système de fichier du raids. Cette opération peut être faite en utilisant gparted permettant un suivi de l'opération. Sinon:
+<code bash>        sudo e2fsck -f /dev/md55 </code>
+) Rétrécir  le système de fichier du raids. Cette opération peut être faite en utilisant gparted permettant un suivi de l'opération. Sinon:
+<code bash>        sudo resize2fs  /dev/md55  15713280K
+        resize2fs 1.45.5 (07-Jan-2020)
+        resize2fs: La nouvelle taille est plus petite que le minimum (4991762)</code>
+Comme on le voit dans cet exemple, on ne risque pas de diminuer plus que la taille calculée.\\
+Si ce contexte arrive, il faut certainement revoir les opérations de calcul.\\
+Si l'incident perdure
+<code bash>        sudo resize2fs  /dev/md55  15713280K
+        resize2fs 1.45.5 (07-Jan-2020)
+        resize2fs: La nouvelle taille est plus petite que le minimum (4438811)   </code>
+) Itérer sur  la réduction minima, cela diminuera par petites entités.\\
+A chaque itération, multiplier la nouvelle taille obtenue par le coefficient de taille (3 dans le contexte).\\
+Si la valeur est enfin inférieure, il est inutile de continuer, sinon il faut continuer  jusqu'au message final.
+<code bash>        sudo resize2fs -M /dev/md55
+        resize2fs 1.45.5 (07-Jan-2020)
+        Le système de fichiers a déjà 4434586 blocs (4k). Rien à faire ! </code>
+Il est alors possible de faire le point en remontant le système de fichier puis regarder la situation.
+<code bash>        df -B 1024 |egrep "/dev/md55|Utilisé"
+        Sys. de fichiers blocs de 1K    Utilisé Disponible Uti% Monté sur
+        /dev/md55           17327524   15300236    1124004  94% /media/RAID55</code>
+Dans ce contexte, on voit qu'on ne sait pas récupérer tout l'espace disponible!\\
+Il reste  la solution de supprimer un disque en moins pour que cela tienne...\\
+Le contexte va donc devenir: Conserver **5** disques avec une taille de 20954040 KiO
+<code bash>        sudo resize2fs  /dev/md55  20951040K
+        resize2fs 1.45.5 (07-Jan-2020)
+        En train de redimensionner le système de fichiers sur /dev/md55 à 5237760 (4k) blocs.
+        Le système de fichiers sur /dev/md55 a maintenant une taille de 5237760 blocs (4k).</code>
+) Diminuer la taille de l'espace disque que le RAIDS doit gérer pour être en conformité avec la nouvelle taille du système de fichier
+<code bash>        sudo mdadm --grow /dev/md55 --array-size 20951040</code>
+Cette commande est sans réponse. L'application gparted permet de visualiser la nouvelle taille. \\
+Si par accident, une  faute de frappe a lieu, il est possible de la relancer. \\
+Attention: La valeur frappée ne doit pas être inférieure à la vraie valeur du système de fichier. Cela empêcherait de le monter et le rendrait inutilisable et irréparable aussitôt que le nombre de disques du RAID sera modifié.\\
+) Remonter éventuellement le raids s'il doit être utilisé en lecture et lancer dans un autre terminal  le suivi des opérations de réorganisation du nombre de disques.
+<code bash>        watch -n 60 cat /proc/mdstat</code>
+) Eventuellement, indiquer que le RAIDS peut être utilisé en écriture.
+<code bash>        sudo mdadm --readwrite /dev/md55</code>
+) Indiquer que le nombre de disques pour gérer le RAID va être diminué de un  en précisant la nouvelle valeur.
+<code bash>        sudo mdadm --grow /dev/md55 --    raid-devices=5 --backup-file /home/md55
+        mdadm: Need to backup 10240K of critical section..</code>
+Il ne reste plus qu'à surveiller et patienter.
+<code bash>        [>....................]  reshape =  3.7% (195980/5237760) finish=54.6min speed=1536K/s</code>
+) Indiquer que le disque désiré doit être supprimé.
+<code bash>        sudo mdadm /dev/md55 --fail /dev/sdd7
+        mdadm: set /dev/sdd7 faulty in /dev/md55</code>
+Il ne reste plus qu'à surveiller et patienter.
+<code bash>        [===>.................]  recovery = 18.2% (956360/5237760) finish=10.0min speed=7107K/sec</code>
+Si, par chance, le disque à retirer  était un disque de sécurité, l'opération est immédiate et n'était pas nécessaire. \\
+) Enlever le disque désiré du raids.
+<code bash>        sudo mdadm /dev/md55 --remove /dev/sdd7
+        mdadm: hot removed /dev/sdd7 from /dev/md55</code>
+) Itérer sur les actions décrites aux points  10 11 et 12.\\
+Si la commande de suppression du  disque donne ce retour
+<code bash>        sudo mdadm --grow /dev/md55 --raid-devices=4 --backup-file /home/md55
+        mdadm: this change will reduce the size of the array.
+        use --grow --array-size first to truncate array.
+        e.g. mdadm --grow /dev/md55 --array-size 15713280</code>
+La tentation est grande de faire un copier/coller de la commande proposée.\\
+Elle fonctionne très bien! La taille du RAID devient alors  nettement plus petite que le système de fichier qu'il héberge.\\
+Le système de fichier ne sera plus montable ni réparable.\\
+Le logiciel aurait du proposer la commande suivante:
+<code bash>        resize2fs  /dev/md55  15713280K</code>
+Mais il ne connaît absolument pas le système de fichier qu'il héberge et ne peut donc pas le faire!!!\\
+Il est nécessaire de faire la commande de resize. Si celle-ci ne fonctionne pas il n'y a pas de solution mais c'était très probablement une erreur de calcul dans le nombre de disques pouvant être enlevés ou une implantation de fichiers laissant des "trous"!
 ==== Comment migrer les données vers une nouvelle machine ? ====
@@ Ligne 358: / Ligne 494: @@
 <code>La taille du système de fichiers (selon le superbloc) est de 7727257 blocs
 La taille physique du périphérique est de 7727232 blocs
 Le superbloc ou la table des partitions est peut-être corrompue !
 </code>
 ou ceci  (au boot par exemple):
@@ Ligne 387: / Ligne 523: @@
 ==== md127 ====
+<note tip>Rien ne prouve que le changement de nom soit grave. Il est même possible que les nouveaux O.S. numérotent à partir de 127 en décroissant. Faites très attention lors de vos corrections. Commencer par vérifier que vos données sont sauvées avant de vouloir rectifier.</note>
 <note tips>
 En changeant de système un RAID1 mdadm, la grappe peut-être reconnu comme /dev/md127
@@ Ligne 464: / Ligne 601: @@
 https://forum.ubuntu-fr.org/viewtopic.php?id=1997683
+https://forum.ubuntu-fr.org/viewtopic.php?pid=22383805#p22383805
 ==== Droits d'écriture ====
@@ Ligne 494: / Ligne 633: @@
 [[:lvm]]
+Il existe aussi la possibilité de mettre du  [[https://raid.wiki.kernel.org/index.php/Initial_Array_Creation|RAID]]  à l'intérieur d'un LVM.
@@ Ligne 586: / Ligne 728: @@
   *  [[file:///etc/default/mdadm]]
   *  [[file:///etc/mdadm/mdadm.conf]]
+<note warning>Si vous découvez que ces fichiers de configuration ne sont plus à jour, il est possible de les regénérer en ligne de commande <code bash>sudo bash /usr/share/mdadm/mkconf | sudo tee /etc/mdadm/mdadm.conf && sudo update-initramfs -u
+</code> </note>
@@ Ligne 766: / Ligne 911: @@
   * <del> [[http://kev.coolcavemen.com/tag/mdadm/]]</del>
   * [[https://forum.ubuntu-fr.org/viewtopic.php?id=2044377|Récupérer un vieux RAID géré par un NAS qui lâche]]
+  * [[https://raid.wiki.kernel.org/index.php/RAID_superblock_formats|Les formats des métadata]]
 ----
-//Contributeurs : [[:utilisateurs:goldkey|goldkey]], [[:utilisateurs:Deejc|Deejc]], [[:utilisateurs:Grummfy]], gene69, David Schwindenhammer.//
+//Contributeurs : [[:utilisateurs:goldkey|goldkey]], [[:utilisateurs:Deejc|Deejc]], [[:utilisateurs:Grummfy]], gene69.//