Server fault.... cercasi esperti raid5

OS X, Linux e tutti gli altri OS

Server fault.... cercasi esperti raid5

Messaggioda marmotta » sab mar 23, 2013 11:53 am

:ultraincaz: :sbam: :sbam: :ultraincaz: :kaput:

Fatto il danno... premetto che ho un server linux (arch) con raid5 software, 1x4 Tera. Almeno avevo! l'altro ieri ho avuto la bella idea di controllare lo stato dell'array ed ho notato che il primo disco (sda1) era in "fail" e chissa da quanto tempo.... non me ne ero mai accorto :sbam:

Allora procedo! E troppo frettolosamente controllo il disco con un utility smart de mi dice che il disco e' ok, di conseguenza vado in console e con mdadm rimuovo il disco e lo riaggiungo all'array. Qua iniziano i problemi!!! Probabilmente il processo non finisce correttamente (ci mette troppo poco tempo) e perdo miseramente tutto il contenuto! :skull:

Da quel momento in poi le prove tutte... ma davvero tutte! Nulla da fare! Ho distrutto irrimediabilmente il filesystem o c'è ancora la speranza di recuperarlo?

Alcuni comandi che ho utilizzato:

mdadm -C /dev/md0 --chunk=128 --level=5 --raid-devices=4 missing /dev/sdb1 /dev/sdc1 /dev/sdd1

Crea un raid5 a 3 dischi illeggibile in quanto il superbloc non e' valido e anche ripristinando i backup dei superbloc non c'è nulla da fare

mdadm -C /dev/md0 --chunk=128 --level=5 --raid-devices=4 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1 --assume-clean

Crea un raid a 4 dischi con gli stessi problemi del precedente....

mdadm -C /dev/md0 --chunk=128 --level=5 --raid-devices=4 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1

Crea un raid a 4 dischi che durante il rebuild diventano: sda1 "fail", sdb1 "active", sdc1 "active", sdd1 "spare".... non da piu l'errore sul superbloc ma resta comunque impossibile montare md0 e fare il fsck (mi pare che dia un errore di dimensione errata) effettivamente con 2 dischi non può funzionare :triste:


Che amarezza :no:
Avatar utente
marmotta

Eroe
 
Messaggi: 1851
Iscritto il: gio dic 30, 2010 11:07 pm

Re: Server fault.... cercasi esperti raid5

Messaggioda Max64 » sab mar 23, 2013 12:58 pm

Ciao, mi puoi mettere l'output di questo comando?
smartctl -t long /dev/sda
mdadm --detail /dev/md0
o comuque dei dischi in fail?

Questo ti potrebbe tornare utile nelle prove:
http://consultancy.edvoncken.net/index.php/HOWTO_Replace_a_failing_disk_on_Linux_Software_RAID-5
Amiga 4000D; AmigaOne 500; Amiga 1200
Avatar utente
Max64

Amico
 
Messaggi: 47
Iscritto il: ven mar 09, 2012 10:41 am

Re: Server fault.... cercasi esperti raid5

Messaggioda marmotta » sab mar 23, 2013 1:43 pm

Ora sto provando un rebuilding... ho creato l'array con 4 dischi (missing,sdb,sdc,sdd) e successivamente ho aggiunto sda.

Codice: Seleziona tutto
[root@Media ~]# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat Mar 23 09:11:36 2013
     Raid Level : raid5
     Array Size : 2929890816 (2794.16 GiB 3000.21 GB)
  Used Dev Size : 976630272 (931.39 GiB 1000.07 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sat Mar 23 12:34:59 2013
          State : clean, degraded, recovering
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 128K

 Rebuild Status : 56% complete

           Name : Media:0  (local to host Media)
           UUID : ebcffe2e:ffa27870:c3195905:e4877e31
         Events : 25

    Number   Major   Minor   RaidDevice State
       4       8        1        0      spare rebuilding   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1


Per il controllo smart ci vuole un pò :ammicca: (circa 3 ore)
Avatar utente
marmotta

Eroe
 
Messaggi: 1851
Iscritto il: gio dic 30, 2010 11:07 pm

Re: Server fault.... cercasi esperti raid5

Messaggioda Max64 » sab mar 23, 2013 2:29 pm

Buon lavoro! :ride:
Amiga 4000D; AmigaOne 500; Amiga 1200
Avatar utente
Max64

Amico
 
Messaggi: 47
Iscritto il: ven mar 09, 2012 10:41 am

Re: Server fault.... cercasi esperti raid5

Messaggioda marmotta » dom mar 24, 2013 11:48 am

Son proprio nella pucia! Ora sto provando a cancellare i superblock dei 4 dischi, ricreare il raid con 3 dischi.... successivamente aggiungere sda e fare il resync, sto attendendo che abbia finito.

Da quello che ho capito nei vari esperimenti il problema principale e' nella ricostruzione del filesystem, non avendo md0 un superblock valido anche fsck e' inutile :triste:

Ho visto che i dati "raw" tramite r-studio (che crea un raid virtuale) riesco ad estrarli, quindi sembrerebbe che i dati sono (almeno parzialmente) integri... solo che senza i nomi dei file e la struttura delle directory me ne faccio ben poco...
Avatar utente
marmotta

Eroe
 
Messaggi: 1851
Iscritto il: gio dic 30, 2010 11:07 pm

Re: Server fault.... cercasi esperti raid5

Messaggioda marmotta » mar mar 26, 2013 4:30 pm

Miiii non ci posso credere! Con quel gran pezzo di sofware di r-studio e mille prove sono riuscito a recuperare tutto il filesystem! Solo la dir di itunes risulta danneggiata... Ma poco male

La cosa assurda e' che per riuscire ho dovuto stranamente mettere l'array al contrario! Ovvero: sdd,sdc,sdb,missing. Non era la struttura originaria, ma funziona! Sdd e' l'unico hd che ha mantenuto i superblock del filesystem intatto. Resta un mistero in quanto e' sempre stato l'ultimo disco dell'array. Appena recupero un hd abbastanza capiente procedo nalla copia, sperando che non ci siano imprevisti.
Avatar utente
marmotta

Eroe
 
Messaggi: 1851
Iscritto il: gio dic 30, 2010 11:07 pm

Re: Server fault.... cercasi esperti raid5

Messaggioda marmotta » sab apr 06, 2013 1:10 am

Ma che sfiga!!! Dopo aver salvato il server adesso mi muore il pc (per fortuna avevo il backup completo) :sbam:

Quello che piu me le fa girare e' che era una ssd da 160gb! Ora ho rimesso un hd meccanico.... ma il confronto è davvero deprimente :kaput:

A quanto pare ha un errore smart "end-to-end" relativo alla cache interna... avevo mezza ssd con i blocchi illeggibili, dopo una piallata con dd (linux) sembrerebbe che son tornati tutti buoni ma l'errore smart di morte imminente rimane! Non ho provato a scriverci su altri dati, puo' darsi che avendo questo errore nella cache mi ritroverei con altri settori danneggiati da qua a poco... ma puo' darsi anche di no, che sia solo stato un errore temporaneo, magari dovuto ad uno sbalzo di corrente oppure puo essere stato il cavo sata fissato male. Il problema e' che ho provato in tutti i modi possibili ma a quanto pare e' impossibile resettare le informazioni smart! Se per lui e' da cestinare non c'è piu nulla da fare! Davvero un peccato! :triste:

L'unico modo per accedere in scrittura nella "zona smart" che ho trovato è andando di collegamento seriale direttamente sul pcb... peccato che dubito che una ssd abbia questo tipo di collegamento sul pcb (a differenza dei hd meccanici)
Avatar utente
marmotta

Eroe
 
Messaggi: 1851
Iscritto il: gio dic 30, 2010 11:07 pm


Torna a Altri sistemi operativi

Chi c’è in linea

Visitano il forum: Nessuno e 14 ospiti

cron