| Datum start | 26-03-2018 | Datum einde | 27-03-2018 |
|---|---|---|---|
| Tijd start | 09:42 | Tijd einde | 05:00 |
| Lokatie | Status |
[edit 27-03-2018, 11:35]
Beste Klant,
De spoedwerkzaamheden van vannacht zijn succesvol afgerond. Het onderzoek naar de oorzaak van de storingen is nog in volle gang en wij zullen na afronding van het onderzoek een incident rapport uitbrengen.
[edit 22:55]
Beste Klant,
Onze leverancier heeft zijn voorlopige bevindingen gedeeld en een advies gegeven. Op basis daarvan heeft het NOC-team van Denit besloten een workaround te implementeren waarbij de layer-3 en layer-2 gescheiden worden. Deze workaround wordt op dit moment uitgevoerd. Omdat alle layer-3 al in VRRP (Virtual Router Redundancy Protocol) was geïmplementeerd kan deze methode zonder impact worden doorgevoerd.
Daarnaast is vervangende apparatuur gearriveerd welke voorbereid wordt zodat deze zonder impact kan worden geïmplementeerd.
[edit 14:30]
Beste Klant,
De problemen in het netwerk zijn grotendeels voorbij. Op dit moment zijn wij bezig met de controle van de laatste klantsystemen. Voor systemen die niet onder het beheer van Denit vallen en mogelijk connectiviteit issues ondervinden is het advies van Denit om deze te herstarten.
[edit 11:46]
Beste klant,
Het probleem lijkt te maken te hebben met load op een van onze “virtual routers chassis” (VC3 en VC4) die volledig redundant en identiek zijn uitgevoerd.
Eind vorige week gaf VC3 onverklaarbare issues (waar de meeste load overheen ging) en downtime veroorzaakte. Dit weekend is hard gewerkt om alle load over te zetten naar de VC4 om de problemen met VC3 samen met onze leverancier te onderzoeken.
Dit leek succesvol te werken, tot vanmorgen toen de VC4 vergelijkbare issues gaf. De load is nu wederom verdeeld op beide clusters en zijn wij alle klantsystemen aan en nalopen en daar waar nodig herstelacties uit te voeren.
Ons team is samen met onze leverancier hard bezig om een structurele oplossing te vinden.
[edit 10:58]
—
Inmiddels is de connectiviteit van het netwerk volledig hersteld, echter zijn nog niet alle servers up en running.
Onze engineers zijn bezig om eventuele problemen binnen de klantservers die voortgekomen zijn uit de connectiviteitsproblemen zo spoedig mogelijk te verhelpen.
De dienstverlening op het virtuele platform is hersteld op problemen met individuele servers na.
Telefonie naar ons algememe nummer is rond 10:00 weer hersteld.
—
[edit 09:47]
Beste klant,
Omstreeks 9:42 uur is er een storing opgetreden in het netwerk van Denit. Hierdoor kan het voorkomen dat uw systemen onbereikbaar is. Wij hebben de oorzaak inmiddels gevonden en zijn bezig correctieve maatregelen te nemen om de situatie te herstellen. In sommige gevallen kan het nog even duren voordat de bereikbaarheid volledig is hersteld. Wij zullen u op korte termijn informeren over deze storing middels een incident rapport.
Op dit moment is het algemene nummer van Denit ook niet bereikbaar, onze noodnummers zijn wel beschikbaar.
