CS407+RAID5 vastgelopen wegens 2 defecte schijven

[olav]

Heb in april 2008 bij mobile-harddisk.nl een CS407 gekocht met 4 x 750GB Western Digital WD7500AAKS in RAID5. Na ongeveer een maand gaf Disk Station Manager aan dat disk 2 was vastgelopen. Kan natuurlijk gebeuren. En met een RAID5 configuratie is er dan geen man overboord. Ik had natuurlijk onmiddellijk de defecte disk op moeten sturen voor vervanging, maar ben dat door drukte vergeten (dom, I know...).

Nu merkte ik deze week dat de toegang tot de CS407 ineens enorm traag was geworden en verschillende shares zelfs volledig onbereikbaar. In het logboek zag ik dat er tal van schrijffouten op disk 3 waren. Er vanuit gaand dat het nagenoeg uitgesloten was dat ook een tweede disk het had begeven (het hele idee achter RAID5, toch...) heb ik toen disk 2 verwijderd en de boel opnieuw opgestart. Nu was echter het hele RAID volume niet meer te benaderen...

Ik ben toen (altijd onverstandig) gaan panieken en heb schijf 2 weer teruggeplaatst in de hoop dat alles op wonderbaarlijke wijze weer zou werken en ik snel een backup kon maken. Helaas, DSM gaf nu aan dat zowel disk 2 als disk 3 de status 'Niet geinitialiseerd' hadden gekregen en het hele RAID5 volume de status 'Vastgelopen'. Na het installeren van de laatste firmware DSM 2.0-0722 geven de nieuwe SMART tools vreemd genoeg aan dat zowel disk 2 als disk 3 de status 'Normaal' hebben. En ook het runnen van de uitgebreide SMART tests wijzen niet op defecte schijven.

Ik zit nu dus met een onbenaderbaar RAID5 volume en heb geen idee of die twee disks nu wel of niet defect zijn. Ik kan beide schijven wel opsturen maar ik vrees dat ik dan sowieso de data kwijt ben. Van alle zakelijke data heb ik backups, maar helaas niet van een grote hoeveelheid prive foto's omdat m'n backup disk het recent ook al heeft begeven.

Iemand ervaring met een soortgelijke situatie? Of liever nog: een goed advies over wat nu te doen? Is het echt Game Over?

[Björn]

Ik denk dat je de flexibiliteit van RAID5 een beetje hebt overschat. Als er van de 4 schijven eentje crashed moet je die onmiddelijk vervangen, omdat het RAID volume vanaf dan (HOOG) risico loopt. Je RAID volume is vanaf dan degraded, wat betekent dat er dus geen 'speling' meer is. Als er dan nog een schijf crashed heb je pech en ben je alles kwijt. Ik ben dus bang dat je pech hebt. Je kunt nog proberen om een mailtje naar Synology te sturen, misschien dat zij je RAID volume nog kunnen herstellen.

[olav]

Hi Bjorn (van mobile-harddisk.nl ?),

Ik begrijp dat 2 defecte disks in een RAID5 set van 4 schrijven te weinig is om de boel opnieuw op te kunnen bouwen. En ik snap ook dat een RAID5 set nooit een alternatief is voor backups en dat ik een kapotte schijf altijd asap moet vervangen. Maar dat neemt niet weg dat de betrouwbaarheid van een RAID5 set zo hoog zou moeten zijn dat hetgeen mij overkomen is (in een tijdsbestek van een paar maanden) theoretisch haast niet voor kan komen. Er is in RAID5 immers sprake van (kans op defecte disk) x (kans op defecte disk) = een heleboel nulletjes + een komma + een cijfer. Oftewel: nagenoeg nihil. De CS407 staat in de koele, droge kelder van m'n kantoor en wordt absoluut niet zwaar belast. De bedrijfscondities zijn dus prima.

Ik heb vanmiddag disk 2 en 3 nog eens onderworpen aan een uitgebreide SMART test en de uitslag luidt dat er niets mee aan de hand is. De status van allevier de disks staat in Opslagruimte > SMART op 'Normaal' en in Infomatie > Status op 'Niet geïnitialiseerd'. Nu weet ik dat zo'n SMART test niet alles zegt, maar niettemin bekruipt mij het gevoel dat ik veel eerder slachtoffer ben van een foutje in de firmware van Synology (of een incompatibiliteit tussen CS407 en het type schijven) dan van twee defecte disks... Ik heb hier al jaren 3 Dell Poweredge servers staan met RAID5 (de oudste is zelfs van 2000) en daar is nog nooit iets mee aan de hand geweest.

Voor ik de disks alsnog opstuur, overweeg ik (heb toch niets te verliezen) de RAID set opnieuw op te bouwen. Wat gebeurt er als ik 'm aanmaak in DSM? Ben ik dan de data definitief kwijt? Of 'ziet' de software misschien dat disk 2 en 3 al geprepareerd zijn en zo in het bestaande volume kunnen worden gehangen?

Groetjes, Olav

[Björn]

Er is in RAID5 immers sprake van (kans op defecte disk) x (kans op defecte disk) = een heleboel nulletjes + een komma + een cijfer. Oftewel: nagenoeg nihil.

Die kansberekening klopt van geen kanten natuurlijk. Elke disk heeft onafhankelijk van de andere schijven een bepaalde kans om defect te gaan. Als je je RAID set laat draaien met 3 ipv. 4 schijven is de kans dat het mis gaat 3 keer de kans van een individuele disk (er zijn immers 3 disken die alledrie defect kunnen gaan, en er hoeft er dan nog maar 1 stuk te gaan om je RAID set definitief te verliezen). Door met een gedegradeerd volume door te gaan vergroot je de kans op problemen dus in feite. En ik begrijp uit je verhaal dat je je RAID set een hele tijd op deze manier hebt laten draaien.

(o en  een heleboel nulletjes + een komma + een cijfer geeft 0000000000000000000000.cijfer (een hele grote kans dus) maar je bedoelt natuurlijk .00000000000000cijfer )

Als je de RAID set opnieuw instelt ben je alles definitief kwijt.

[olav]

Uitgaande van de startsituatie (werkende RAID5 set met 4 disks) gaat het fout als er 2 disks stuk gaan binnen een bepaalde tijdsperiode. De kans op 1 defecte schijf is inderdaad 4 x hoger dan wanneer je maar 1 disk hebt. De kans echter dat er 2 disks stuk gaan in diezelfde periode is toch echt (kans op 1 defecte disk) x (kans op 1 defecte disk) = erg laag.

Rekenvoorbeeld: stel dat de kans dat een disk defect raakt binnen 1 jaar 2% is. Met 4 disks heb je dan 4 x 2% = 8% kans dat 1 van de 4 disks defect raakt. De kans dat 2 van de 4 schijven stuk gaan is echter 8% x 8% = 0,64%. Ok, weliswaar niet een heleboel nullen achter de komma maar wel klein. In ieder geval veel kleiner dan wanneer je maar 1 disk hebt, namelijk 0,64% versus 2%. Maak je een nieuwe calculatie op het moment dat de 1e disk het begeeft, dan is de kans juist ineens hoger dan in een situatie met maar 1 disk, namelijk 3 x 2% = 8% versus 2%. Had ik dus onmiddellijk die defecte disk moeten vervangen? Ja, natuurlijk had ik dat moeten doen. Het is niet slim geweest om gewoon door te draaien omdat ik vanaf het 1e defect een sterk verhoogd risico liep. Maar dat neemt niet weg dat het falen van een RAID5 opstelling binnen enkele maanden na aanschaf een typisch geval is van heel veel pech. Of er moet iets anders aan de hand zijn (de eerder gesuggereerde imcompatibiliteit) waardoor ik zonder het te weten veel meer risico liep.

Maak ik ergens een denkfout, anyone ?...

[Björn]

Maak ik ergens een denkfout, anyone ?...

Ja, want je berekening klopt alleen als je ervanuit gaat dat de schijven TEGELIJK crashen
Het wordt een heel andere berekening als je een tijdsperiode tussen de crashes gaat meenemen (en dat is hier nou precies het geval).

[Björn]

O en in het kader van jouw rekenvoorbeeld maar dan mét tijdsperiode ertussen:

stel dat de kans dat een disk defect raakt binnen 1 jaar 2% is. Met 4 disks heb je dan 4 x 2% = 8% kans dat 1 van de 4 disks defect raakt

(met 0% kans op dataverlies bij 1 crash)

Zover klopt je voorbeeld. Crashed er nu 1 schijf en je doet daar niks aan dan ontstaat er een nieuwe situatie, waarbij de oude niet meer van belang is. Je hebt dan gewoon 3 schijven met elk 2%, dus 6% (dus niet 8% ) kans op een nieuwe crash, alleen deze crash heeft wel 100% kans op dataverlies.

Afgezien van het feit dat je beide crashes los van elkaar moet zien, en je de kansen dus niet kunt vermenigvuldigen moet je dit soort kansberekeningen ook altijd uit het oogpunt van dataverlies bekijken. De eerste crash is dus eigenlijk niet van belang omdat deze 8% * 0% = 0% kans op dataverlies geeft. De 2de crash in dit geval geeft 6% * 100% = 6% kans op dataverlies.

[Anonymous]

Hallo,

Ik dit topic voorbij komen en wilde toch even een tip meegeven. Mijn probleem was dan wel iets anders maar één ding kwam mij bekend voor. De schijf wordt gewoon als goed gezien zowel door windows en door andere hdd test programma's. Dit was ook in mijn geval, ik kon niks geks vinden op schijf 1 die steeds maar bleef crashen. Na de crash moest ik weer het raid repareren en na een week of 2 crashte hij weer. Na een maand of 4, begon ook schijf 4 dit te doen. Ik heb dit uiteindelijk opgelost door de sata kabels te vervangen.

Ik heb van beide schijven de 2 kleine sata kabels vervangen, en iets duurdere en gewoon een standaard maat sata kabel terug geplaatst. Ik heb nu al maanden geen crash meer gehad en alles loopt weer als een zonnetje.

Perry

[olav]

Hmm, wist niet dat de kabels ook een factor konden zijn. Goeie tip, Perry. Neem ik mee in het m'n experimentje van de komende paar dagen. Ben nu nog steeds de RAID5 aan het opbouwen. Daarna ga ik het ding ff flink stresstesten door veel data heen en weer te pompen. En misschien een foto van m'n schoonmoeder erop te zetten

[olav]

Ik heb de RAID set opnieuw opgebouwd met dezelfde disks, van alle disks de SMART status nog eens gecontroleerd en een hoop data naar de RAID heen en weer gekopieerd. Alles lijkt vooralsnog 100% correct te werken. Ik had liever gezien dat 1 of 2 disks foutmeldingen zouden geven want dan had ik een aanknooppunt gehad... Geen idee ook in hoeverre de SMART status de werkelijke staat van een disk weerspiegelt. Bjorn, heb je dit eerder gezien? Wat adviseer je? De disks die eerder foutmeldingen gaven opsturen, kabels vervangen of gewoon ff doorgaan met het experiment om te kijken wat er gebeurt?

[olav]

(late) Update: heb na nog enkele crashes (waarbij overigens keurig de data is hersteld door de Synology helpdesk) gratis een setje nieuwe sata-kabeltjes + powerkabels van Synology ontvangen. Sindsdien draait de NAS als een zonnetje. Ook als 'm zwaar belast door tegelijkertijd een 1080 movie te streamen naar mijn mediaplayer, Flac's te spelen op m'n Sonos systeem en bestanden te kopieren. De volgende NAS wordt weer een Synology, ondanks de troubles!