[Verholpen] Storing 19-01-2018
Inkomend telefonieverkeer was niet mogelijk
Er was een storing bij onze toeleverancier en daardoor was er geen inkomend verkeer mogelijk. Er waren geen problemen met uitgaand verkeer, omdat we uitgaand verkeer sinds het begin van de storing hebben laten verlopen via onze backup provider.
Een dergelijke backup voor inkomend telefonieverkeer is in het Nederlandse telefoniesysteem helaas niet mogelijk. Op dit moment is 1 van de 2 lijnen weer hersteld. Er wordt nog verder gewerkt om de oplossing weer redundant (dubbel uitgevoerd) te maken. Daarvoor wordt de kabel in Arnhem hersteld.
Onze excuses voor het ongemak!
Beknopte samenvatting
Een korte samenvatting van status, oorzaak, omvang en duur.
Status: Opgelost, telefonieverkeer hersteld. Alleen nog niet redundant uitgevoerd.
Oorzaak: Hardwareprobleem bij interconnectprovider BT (toeleverancier).
Omvang: Alle inkomende gesprekken (alleen interne gesprekken en van andere VoIP Express-klanten komen wel binnen)
Duur: 10:48 uur – 01:16 uur
Laatste update: 20 januari 10:15 uur
Hieronder vind je het de updates en storingshistorie.
Storingshistorie
Inkomend telefonieverkeer niet mogelijk
Door een storing bij onze toeleverancier is er op dit moment geen inkomend verkeer mogelijk. Er zijn geen problemen met uitgaand verkeer. We houden je op de hoogte.
Update 11:50 uur:
De toeleverancier geeft aan hard te werken aan een oplossing, maar kan nog geen tijdsindicatie geven. Zodra er weer een update komt vanuit de toeleverancier, melden wij deze direct hier.
Update 13:00 uur:
De toeleverancier heeft doorgegeven dat het hoogstwaarschijnlijk om een hardware issue gaat en is in contact met hun hardware leverancier. Een indicatie over hoe lang het herstel van de dienstverlening gaat duren, is helaas nog steeds niet mogelijk.
Update 14:40 uur:
Toeleverancier geeft aan dat het daadwerkelijk om een hardware issue gaat en dat het probleem is gelokaliseerd. Men werkt hard aan een oplossing, een indicatie over hoe lang het herstel van de dienstverlening gaat duren is echter nog steeds niet mogelijk.
Update 16:50 uur:
Zoals iedereen vandaag merkt, ondervinden wij hinder van een grote storing bij onze toeleverancier (BT). Zowel inkomende als uitgaande gesprekken zijn bij onze toeleverancier op dit moment niet mogelijk. Doordat wij voor uitgaande gesprekken meerdere mogelijkheden gebruiken, kunnen onze klanten gewoon uitbellen. Daarnaast -omdat het VoIP Express netwerk geen last heeft van uitval- kunnen alle klanten op het platform wel gewoon met elkaar bellen en kunnen collega’s onderling ook gewoon contact hebben.
Hardware engineers van onze toeleverancier zijn druk bezig met de reparatie van hardware. Wij hebben er zelf geen zicht op hoe lang dit gaat duren en kunnen er alleen op vertrouwen dat zij er alles aan doen om dit op te lossen. Van veel klanten krijgen wij de vraag of dit nog uren of dagen gaat duren. Hier kunnen we nu nog geen antwoord op geven, omdat we dit simpelweg nog niet weten, maar zodra er een tijdsindicatie is, dan laten we dat hier direct weten.
Update 18:30 uur:
De ingenieurs van de toeleverancier hebben de storing herleid naar een fiber kabel in de buurt van Arnhem. Er is een reparatieteam uitgezonden om de schade te herstellen. Het is een complex probleem, dus reparaties zullen veel tijd in beslag nemen. De verwachting is dat dit nog meerdere uren duurt. Ook het redundante systeem bij de leverancier dat ervoor had moeten zorgen dat dit voorkomen had kunnen worden, werkt niet naar behoren. Ook daar wordt gewerkt aan een oplossing.
We begrijpen dat onze klanten hiervan veel hinder ondervinden. Wij betreuren het ten zeerste niets te kunnen betekenen om dit probleem sneller te verhelpen en hopen jullie snel van beter nieuws te kunnen voorzien. Onze toeleverancier BT heeft een uitstekende reputatie en bestuurt een aanzienlijk deel van de Europese markt. Wij hebben BT al jaren als toeleverancier en vertrouwen er op dat ze met man en macht zullen werken om dit probleem te verhelpen.
Update 21:00 uur:
De engineers van BT zijn nog steeds aan het werk. Het probleem ligt bij een glasvezelkabel in de buurt van Arnhem waarover telefonie van BT gerouteerd wordt. Verwacht wordt dat ze hier nog minimaal enkele uren mee bezig zijn voordat de verbinding is hersteld.
Update 22:30 uur:
Contractor BAM is op locatie en werkzaamheden bij het spoor blijken de oorzaak van een kabelbreuk. Er wordt nu een handhole gegraven om de locatie van de breuk tot enkele meters te kunnen bepalen. Waarom de redundantie voor deze kabel niet heeft gewerkt en wanneer deze wordt gerepareerd is nog onbekend.
Update 23:00 uur:
Het reparatiegebied wordt afgesloten met hekken met het bord “quicksand”. Het is totaal donker in het veld, dus men moet speciale auto’s met grote spotverlichting meenemen voordat ze de reparatie kunnen beginnen.
De alternatieve route, die door Frankrijk loopt, is helaas ook verbroken door een calamiteit op een bouwplaats. Hier zijn de vezels nog erger beschadigd (nieuwe kanalen en vezels zijn nodig), wat betekent dat de ETR er daar op zijn vroegst zondag zal zijn. Deze vezel in Frankrijk is beschadigd over een afstand van 200 meter.
Inmiddels heeft één van de engineers van BT wellicht een tijdelijke oplossing. Deze verbinding is echter instabiel en heeft weinig capaciteit. Communicatie zou dus zo mogelijk kunnen worden, maar deze verbinding is nog niet getest. Dit zou echter een lapmiddel kunnen zijn tijdens de reparatiewerkzaamheden. Hoe de kwaliteit van de audioverbindingen zal zijn is onbekend.
Update 01:30 uur:
Goed nieuws. Voorzichtig zien we de verbinding terug komen en zien we op beide lijnen weer telefonieverkeer binnenkomen. Dit komt doordat de verbinding in Frankrijk weer hersteld is. De aard van het defect aan de glasvezel bij Arnhem is inmiddels bekend, en er wordt geschat dat de werkzaamheden nog enkele uren gaan duren.
Update 07:00 uur:
Voor de verbinding tussen NL en DE: Er wordt een nieuwe vezel tussen twee mangaten geïnstalleerd. Vanwege hinderlijke omstandigheden worden de reparatiewerkzaamheden na 9:00 uur hervat.
Voor de verbinding tussen NL en FR: twee vezel reparatieteams werken aan het vervangen van de vezel. De uiteindelijke ETR wordt gedeeld om 10:00 uur, maar er kan op eerder herstel worden gerekend omdat de vezels stuk voor stuk worden gerepareerd.
Update 7:45 uur:
De link in Frankrijk is volledig hersteld. Het verkeer draaide al over deze link. Nu zijn de werkzaamheden volledig afgerond en zou dit weer een stabiele verbinding moeten zijn.
Update 09:30 uur:
De ingenieurs in Arnhem voor de link DE-NL heeft de vezeluitval gemeten op 22,5 km. Ze hebben moeite met het vinden van de mangaten vanwege de lokale omstandigheden. Op dit moment vermoeden ze dat er palen in de grond dwars door de kabels zijn gegaan. Tussen de mangaten moet een nieuwe kabel worden gelegd. Werk werd tot 9:00 uur stilgelegd vanwege de milieugevaren en het gebrek aan licht ter plaatse.
De link tussen Frankrijk en Nederland is dus hersteld, waardoor telefonieverkeer stabiel mogelijk is. De diensten worden nog steeds gecontroleerd totdat alle werkzaamheden voor de tweede lijn in Arnhem zijn voltooid.