Failover naar aanleiding van storing aan hypervisor

Omschrijving

Vanochtend omstreeks 11.00 is een (fysieke) hypervisor binnen ons cluster uit zichzelf herstart. Gevolg hiervan is de dat virtuele machines die op deze hypervisor draaiden een shutdown hebben gekregen en automatisch op een andere host zijn opgestart. Dit automatisch proces heeft ongeveer 5 minuten in beslag genomen. De geaffecteerde fysieke host is uit de cluster gehaald en momenteel loopt het onderzoek naar de root cause van de herstart.

 

Impact

De impact is beperkt gebleven tot een aantal Vm’s die geautomatiseerd verplaatst zijn naar een andere host. Tijdens deze verplaatsing kan er sprake zijn geweest van verminderde bereikbaarheid van deze Vm’s.

  • Omschrijving:

Denit ondervindt momenteel verstoring aan het AHSAY BACKUP PLATFORM. Het onderzoek naar een oplossing is in volle gang. Deze pagina zal regelmatig worden bijgewerkt met actuele informatie.

Mocht u vragen hebben rondom deze storing verzoeken wij u te mailen naar sdm@denit.nl

 

  • Impact:
  • Door de storing op het Ahsay backup platform worden backups niet of gedeeltelijk gemaakt.

 

  • Afhandeling:
  • 24-10-2020 18:00 Onze engineers hebben het probleem verholpen.

Momenteel is er een landelijke telefoonstoring voor zowel vaste als mobiele diensten van KPN, onze standbydienst (zie het nummer in uw klantenportaal) is onverminderd beschikbaar. Mocht u toch problemen ondervinden vanaf uw KPN verbinding: probeert u het dan middels een andere provider. Voor meer informatie verwijzen wij u door naar de statuspagina van KPN: https://www.kpn.com/service/storingen.htm

Kenmerken van de storing

Binnen het vCloudplatform van Denit is een probleem geconstateerd met een specifieke fysieke host. Dit probleem is beperkt tot de managementslaag van de vCloudomgeving en heeft geen impact voor de klantomgevingen.

Het helaas tijdelijk niet mogelijk om de virtuele machines die op deze fysieke host draaien te verplaatsen naar een andere, fysieke host. Denit heeft dit probleem in onderzoek, indien de situatie dit vereist zullen betrokken klanten verder geinformeerd worden over het vervolg.

Beste klant,

Vanavond omstreeks 21:00 uur is er een storing opgetreden in het netwerk van het multitenant vmware platform van Denit. Hierdoor kon het voorkomen dat uw systemen onbereikbaar zijn geweest. De netwerk dienstverlening van het multitenant vmware platform is inmiddels volledig hersteld. Wij hebben de oorzaak inmiddels gevonden en hebben correctieve maatregelen genomen om de situatie te herstellen. In voorkomende gevallen kan het nog even duren voordat uw systeem volledig is hersteld. Wij zullen u op korte termijn informeren over deze storing middels een incident rapport.

Kenmerken storing

Sinds afgelopen Vrijdagavond ondervinden wij een storing binnen ons Veeam backup-platform.

Betrokken systemen

Deze melding is van toepassing op het Veeam-platform, waar wij sinds afgelopen Vrijdagavond een storing ondervinden; hierdoor zijn een groot gedeelte van de back-up taken mislukt. De storing is momenteel nog niet verholpen en onze engineers zijn druk bezig met het vinden van een oplossing. De back-up data van de afgelopen periode is beschikbaar echter kunnen wij op dit moment de integriteit hiervan niet garanderen. Om nieuwe back-up taken te garanderen wordt op dit moment een nieuwe back-up omgeving ingericht en zullen nieuwe taken hiervandaan worden gestart.

Afhandeling

Engineers van onze Vmware afdeling zullen dit onderhoud uitvoeren en het hele proces zorgvuldig monitoren.

 

[update 27-02-2018]

De storing is inmiddels verholpen, we ondervinden echter nog performance issues waardoor het mogelijk is dat de backupwindow niet gehaald kan worden. Effectief kan dit dus resulteren in een ontbrekende dag in de retentie. Om nieuwe back-up taken te garanderen wordt op dit moment een nieuwe backup omgeving ingericht en zullen nieuwe taken hiervandaan worden gestart. Wij verwachten de nieuwe omgeving later vandaag operationeel te hebben.

 

Kenmerken van de storing

Momenteel kunnen er verstoringen optreden binnen door ons geleverde VPN diensten binnen de Virtual Data Centre (VDC) omgevingen.

Getroffen systemen

De impact is beperkt tot een aantal VPN’s binnen het VDC, niet alle omgevingen binnen het VDC ondervinden deze problemen.

Afhandeling

Onze NOC en VmWare afdelingen zijn bezig met het stellen van de definitieve diagnose en het implementeren van een oplossing.
Zodra er meer informatie bekend is zal dit bericht worden bijgewerkt.

Kenmerken storing

Wij hebben een vertraging waargenomen in het afhandelen van de Veeam backuptaken

Betrokken systemen

De melding is van toepassing op ons Veeambackup platform. De backups worden wel gemaakt maar er is sprake van een vertraagde afhandeling van de backuptaak.

Afhandeling
Onze Vmwarespecialisten zijn na overleg met Veeamsupport bezig met het finetunen van het platform.

Geachte lezer,

 

Er zijn op dit moment problemen met het vcloudportal. Wij zijn inmiddels druk bezig met het zoeken naar een oplossing.
Het kan dus gebeuren dat u problemen ervaart met uw VDC.
Wij vragen u om begrip en geduld.

Gr,

Beheer.

Kenmerken van de storing

Binnen een beperkt deel van onze Vmware omgeving is momenteel sprake van een onderbreking in de dienstverlening.

Getroffen systemen

Alleen servers en omgevingen binnen de 94.126.71.0/24 range zijn hier door getroffen

Afhandeling

Momenteel zijn onze engineers bezig om dit op te lossen, we zien dat de getroffen omgevingen één voor één weer beschikbaar worden.

[update 14:50] De storing is verholpen en de laatste getroffen systemen zijn weer online aan het komen.

Openstaande meldingen

Recent opgeloste meldingen

Archief Klik om het archief te bekijken