Server fault.... cercasi esperti raid5

[marmotta]

Fatto il danno... premetto che ho un server linux (arch) con raid5 software, 1x4 Tera. Almeno avevo! l'altro ieri ho avuto la bella idea di controllare lo stato dell'array ed ho notato che il primo disco (sda1) era in "fail" e chissa da quanto tempo.... non me ne ero mai accorto

Allora procedo! E troppo frettolosamente controllo il disco con un utility smart de mi dice che il disco e' ok, di conseguenza vado in console e con mdadm rimuovo il disco e lo riaggiungo all'array. Qua iniziano i problemi!!! Probabilmente il processo non finisce correttamente (ci mette troppo poco tempo) e perdo miseramente tutto il contenuto!

Da quel momento in poi le prove tutte... ma davvero tutte! Nulla da fare! Ho distrutto irrimediabilmente il filesystem o c'è ancora la speranza di recuperarlo?

Alcuni comandi che ho utilizzato:

mdadm -C /dev/md0 --chunk=128 --level=5 --raid-devices=4 missing /dev/sdb1 /dev/sdc1 /dev/sdd1

Crea un raid5 a 3 dischi illeggibile in quanto il superbloc non e' valido e anche ripristinando i backup dei superbloc non c'è nulla da fare

mdadm -C /dev/md0 --chunk=128 --level=5 --raid-devices=4 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1 --assume-clean

Crea un raid a 4 dischi con gli stessi problemi del precedente....

mdadm -C /dev/md0 --chunk=128 --level=5 --raid-devices=4 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1

Crea un raid a 4 dischi che durante il rebuild diventano: sda1 "fail", sdb1 "active", sdc1 "active", sdd1 "spare".... non da piu l'errore sul superbloc ma resta comunque impossibile montare md0 e fare il fsck (mi pare che dia un errore di dimensione errata) effettivamente con 2 dischi non può funzionare


Che amarezza

[Max64]

Ciao, mi puoi mettere l'output di questo comando?
smartctl -t long /dev/sda
mdadm --detail /dev/md0
o comuque dei dischi in fail?

Questo ti potrebbe tornare utile nelle prove:
http://consultancy.edvoncken.net/index.php/HOWTO_Replace_a_failing_disk_on_Linux_Software_RAID-5

[marmotta]

Ora sto provando un rebuilding... ho creato l'array con 4 dischi (missing,sdb,sdc,sdd) e successivamente ho aggiunto sda.

Codice: Seleziona tutto

[root@Media ~]# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat Mar 23 09:11:36 2013
     Raid Level : raid5
     Array Size : 2929890816 (2794.16 GiB 3000.21 GB)
  Used Dev Size : 976630272 (931.39 GiB 1000.07 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sat Mar 23 12:34:59 2013
          State : clean, degraded, recovering
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 128K

 Rebuild Status : 56% complete

           Name : Media:0  (local to host Media)
           UUID : ebcffe2e:ffa27870:c3195905:e4877e31
         Events : 25

    Number   Major   Minor   RaidDevice State
       4       8        1        0      spare rebuilding   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1

Per il controllo smart ci vuole un pò (circa 3 ore)

[Max64]

Buon lavoro!

[marmotta]

Son proprio nella pucia! Ora sto provando a cancellare i superblock dei 4 dischi, ricreare il raid con 3 dischi.... successivamente aggiungere sda e fare il resync, sto attendendo che abbia finito.

Da quello che ho capito nei vari esperimenti il problema principale e' nella ricostruzione del filesystem, non avendo md0 un superblock valido anche fsck e' inutile

Ho visto che i dati "raw" tramite r-studio (che crea un raid virtuale) riesco ad estrarli, quindi sembrerebbe che i dati sono (almeno parzialmente) integri... solo che senza i nomi dei file e la struttura delle directory me ne faccio ben poco...

[marmotta]

Miiii non ci posso credere! Con quel gran pezzo di sofware di r-studio e mille prove sono riuscito a recuperare tutto il filesystem! Solo la dir di itunes risulta danneggiata... Ma poco male

La cosa assurda e' che per riuscire ho dovuto stranamente mettere l'array al contrario! Ovvero: sdd,sdc,sdb,missing. Non era la struttura originaria, ma funziona! Sdd e' l'unico hd che ha mantenuto i superblock del filesystem intatto. Resta un mistero in quanto e' sempre stato l'ultimo disco dell'array. Appena recupero un hd abbastanza capiente procedo nalla copia, sperando che non ci siano imprevisti.

[marmotta]

Ma che sfiga!!! Dopo aver salvato il server adesso mi muore il pc (per fortuna avevo il backup completo)

Quello che piu me le fa girare e' che era una ssd da 160gb! Ora ho rimesso un hd meccanico.... ma il confronto è davvero deprimente

A quanto pare ha un errore smart "end-to-end" relativo alla cache interna... avevo mezza ssd con i blocchi illeggibili, dopo una piallata con dd (linux) sembrerebbe che son tornati tutti buoni ma l'errore smart di morte imminente rimane! Non ho provato a scriverci su altri dati, puo' darsi che avendo questo errore nella cache mi ritroverei con altri settori danneggiati da qua a poco... ma puo' darsi anche di no, che sia solo stato un errore temporaneo, magari dovuto ad uno sbalzo di corrente oppure puo essere stato il cavo sata fissato male. Il problema e' che ho provato in tutti i modi possibili ma a quanto pare e' impossibile resettare le informazioni smart! Se per lui e' da cestinare non c'è piu nulla da fare! Davvero un peccato!

L'unico modo per accedere in scrittura nella "zona smart" che ho trovato è andando di collegamento seriale direttamente sul pcb... peccato che dubito che una ssd abbia questo tipo di collegamento sul pcb (a differenza dei hd meccanici)