Je hebt misschien wel gemerkt dat de oostkust van de VS onlangs heel wat te verduren heeft gehad van Moeder Natuur. Zo was er een aardbeving, een orkaan, en de afgelopen weken heeft het er flink geregend en gewaaid. Zo erg als daar zal het in Nederland niet snel (of in elk geval niet vaak) worden - maar met de huidige veranderingen in het klimaat kan het geen kwaad alvast eens mee te denken met collega's die wel in zo'n situatie hebben gezeten.
Eén van de resultaten van al dit geologisch en atmosferisch geweld is dat het onderhouden van een stabiel datacentrum nogal een uitdaging wordt. Storingen in stroom- en dataverbindingen maken het vrijwel onmogelijk om volledige beschikbare rekencapaciteit te garanderen, en als het weer heel erg slecht is moet het personeel soms thuisblijven.
Onder dergelijke omstandigheden is het soms beter de boel vóór de storm uit te schakelen, als het datacentrum tenminste geen 24/7/365 faciliteiten garandeert (zoals bij hosting of colocatie), om onvermijdelijke stroomstoringen en het daaruit resulterende dataverlies te voorkomen. Ik realiseer me dat veel mensen schrikken van dit idee. Maar het heeft zo zijn voordelen, vooral als de ramp voor het weekend voorspeld is.
Zelfs in grote ondernemingen ligt de systeembelasting in het weekend relatief laag. Ervan uitgaand dat de het gezicht naar buiten elders gehost wordt, worden interne diensten in de weekenden doorgaans gebruikt door mensen die hun e-mail binnenhalen - of mensen met een naderende deadline, geen sociaal leven, of beide. Je kunt er veilig van uitgaan dat het gebruik van het datacentrum nog lager zal liggen als er voor dat weekend extreme weersomstandigheden zijn voorspeld.
Maar hoe zit het dan met de potentiële beschadiging van servers en opslag? Tja, zelfs met een degelijke noodstroomvoorziening en generator kunnen er zich problemen voordoen met klimaatbeheersingssystemen die boven het dak uitsteken en zichzelf blootstellen aan het noodweer. Als de verbindingen eruit liggen is het, tenzij de faciliteit tijdens de storing bemand is, voor beheerders niet eens mogelijk het centrum van op afstand te benaderen om de boel na te kijken of zelfs een 'post-powerloss shutdown' te organiseren. Jouw beslissing hangt af van de kenmerken van de faciliteit, maar de veiligheid van mensen komt altijd op de eerste plaats, dus het kan zijn dat je geen keuze hebt.
In het geval van orkaan Irene koos ik ervoor om op afstand twee datacentra uit te schakelen in twee verschillende staten die in het pad van de storm lagen. Alleen de switches en VPN-apparatuur bleven draaien. Uiteraard kan vrijwel ieder onderdeel van deze datacentra op afstand worden bediend, van het in- en uitschakelen van servers tot het verkrijgen van toegang via eindstations tot elk relevant apparaat, waaronder opslagcontrollers, kernswitches enzovoorts. Het uitschakelen van de datacentra nam slechts een half uur in beslag met gescripte tools om de Linux-servers in een specifieke volgorde af te sluiten - en het wijdverbreide gebruik van virtualisatie maakte het belachelijk eenvoudig om alle VM's netjes te deactiveren.
Helaas ging het op de andere locatie minder goed. De shutdowns stonden gepland voor 15:00, maar op de één of andere reden viel de stroom al uit om 11:45, ruim voordat de storm toesloeg, en om uiteenlopende redenen was er geen werkende backupgenerator aanwezig. Uiteindelijk kwam het erop neer dat ik midden op een parkeerplaats vanaf mijn iPhone koortsachtig servers stond af te sluiten. Ik kwam tot ongeveer de helft van de servers met de shutdown scripts, maar de Windows-machines moesten het zelf uitzoeken, net als de opslag. Het laatste wat ik van dat datacentrum zag was een afgekapt SMS'je met een waarschuwing dat de noodstroomvoorziening op zijn einde liep. En toen was het weg. Boem. Deze locatie bevond zich bijna 400 kilometer verderop, dus we moesten wachten met het herstel van dat datacentrum tot de storm voorbijgetrokken was.
Toen de lichten weer aangingen herstartte het tweede datacentrum vanzelf. De machines die ik zelf zoals het hoort had afgesloten uitgezonderd, startten de servers zichzelf automatisch opnieuw op toen de stroom weer aanging, precies zoals hun was opgedragen. De netwerkapparatuur was in orde, net als de opslag. De locatie deed het schitterend, op een paar kleine problemen na die veroorzaakt waren door de onverwachte herstart. Een aantal servers moest ik handmatig aanzetten, ik moest wat NFS-mounts opnieuw mounten die mislukt waren omdat de opslag niet meteen beschikbaar was toen de servers aan het opstarten waren, en ik moest een aantal VM's inschakelen, maar dat was het dan ook.
Het datacentrum dat ordelijk was afgesloten startte even goed, met slechts een aantal kleine problemen. Vóór de dreiging van de orkaan had ik uiteraard voor dat weekend geen echt shutdown testscenario gepland, maar ik had er net eentje voltooid en beide locaties waren glansrijk geslaagd. Deze oefening legde ook een aantal kleine gaten bloot in het controle-framework die gemakkelijk gevonden en gedicht waren.
Als je een datacentrum hebt draaien dat volledig kan worden afgesloten zonder dat het een overdreven negatieve invloed heeft op de normale bedrijfsvoering, doe je er goed aan dat zo snel mogelijk eens te oefenen. Ik doe het altijd zodra we een nieuwe faciliteit hebben gebouwd, maar daarna is daadwerkelijk afsluiten een zeldzame gebeurtenis die doorgaans veroorzaakt wordt door invloeden van buitenaf. Dat gezegd hebbende: dankzij deze gedwongen sluiting is mijn vertrouwen in de weerbaarheid van beide locaties fors toegenomen. Dat was voor mij het dunne zilveren randje aan de wolken van orkaan Irene.
-
-
Er zijn nog geen reacties.Reageer
Preview