Yderligere opdatering
Med onsdagens nedbrud in mente er det vigtig for mig at få kommunikeret, hvor seriøst vi tager sådan en hændelse. 100% oppetid er hvad vi sammen med fantastisk service, hver eneste dag arbejder hårdt på at give igen som tak for jeres tillid og forretning.
I onsdags fejlede vi desværre.
Det bedste vi herefter kan gøre er at sikre, at samme fejl ikke sker igen, samt at få kommunikeret åbent og ærligt ud. Torsdag morgen havde vi møde med vores leverandør, hvor alle sten blev vendt.
Min agenda var klar: En lignende episode må ikke ske igen.
Udfaldet af mødet blev, at vi torsdag morgen lagde en ordre på udskiftning af samtlige eksisterende batterier samt en udbygning af systemet for en endnu højere grad af redundans fremadrettet. I morges gik arbejdet i gang, og jeg kan med glæde berette, at vi her til aften er fuldt ud implementeret med det nye setup.
Slutteligt vil jeg gerne sende jer alle en dyb tak for den forståelse og opbakning I har vist både mig og resten af teamet.
Mikkel Emmerik
CEO, Adeo Datacenter ApS
Information vedr. nedbrud d. 18/08-2021
Først og fremmest vil jeg dybt og inderligt beklage de gener som dagens nedbrud med garanti har forårsaget. Jeg vil i nedenstående forsøge at gengive dagens hændelse, hvad dette hos os medførte samt hvad vi kommer til at gøre for, at en lignende situation ikke opstår i fremtiden.
Kl. 13:18 mistede datacenteret bystrømmen, hvilket Radius på nuværende tidspunkt ikke er kommet med en forklaring på. At miste bystrømmen i enten kortere eller længere tid er en “normalitet”, og noget vi har prøvet en masse gange tidligere. Som foranstaltning til dette har vi et UPS-system med tilkoblede batterer samt et nødstrømsanlæg i form af dieselgenerator.
Tidligere har dette fungeret fuldkommen uden problemer og dagens hændelse er den første af sin slags. Problemet er af vores UPS-leverandør blevet lokaliseret til en fejl på et eller flere batterier eller strengen der forbinder disse. Dette betød, at UPSen kun var kørende i under 10 sekunder før den løb tør for batteri. 10 sekunder er præcis ikke nok tid til, at dieselgeneratoren tog over, hvilket betød strømafbrydelse på alt udstyr.
Til information er vores setup gearet til en batteritid på 18 minutter, vel og mærke, hvis tingene ikke fejler som i dag. Vi har i morgen møde med vores leverandør / servicepartner med henblik på at få skiftet samtlige batterier ud. Uden at det på nogen måde må opfattes som en ansvarsfraskrivelse, så kan jeg nævne, at batterierne er under 3 år gamle og de er leveret og installeret af en professionel servicepartner.
Vores leverandør har her til eftermiddag foreslået, at der evt. kan laves redundans på det i forvejen redundante batteri-setup. Uden at kende detaljerne til bunds kan jeg love, at det er noget vi vil forfølge. Strømafbrydelsen har ydermere haft den effekt, at en enkelt af vores switche døde samt en del systemer skulle have hjælp til at komme op igen. Dette har for nogle kunder med virtuelle miljøer drastisk forlænget nedetiden på hele eller dele af løsningen.
I bagklogskabens klare lys føler jeg – hånden på hjertet – ikke, at dagens strømnedbrud og efterfølgende fejl på batteri(er) kunne være forudset. Omvendt viser der sig nu alligevel en mulighed for yderligere redundans, hvilket vi vil forfølge. Igen, jeg beklager virkelig de gener dette har medført. Jeg vil gøre alt, hvad jeg kan for, at lignende ikke sker i fremtiden.
Såfremt du har brug for yderligere forklaring, så står jeg til rådighed 24/7 på både mail og telefon.
Jeg håber på jeres forståelse og fortsatte tillid.
Mikkel Emmerik
CEO, Adeo Datacenter ApS
