Netzwerkausfall am 29.11.2012
Aufgrund einer Störung (Loop) in einem der zentralen Routern der Universität kam es heute zwischen 14:40 und 14:50 Uhr zu einem Netzwerkausfall.
Das Problem wurde von den zuständigen Mitarbeitern schnell selbst entdeckt und umgehend behoben.
Die zentrale Suchmaschine der Universität ist derzeit aufgrund eines Dateisystemfehlers nicht erreichbar.
An der Fehlerbehebung wird gearbeitet.
Mittlerweile wurde die Suchmaschine auf ein neues Rechnersystem umgezogen und ist wieder voll funktionsfähig.
Aufgrund eines ungeplanten Stromausfalls von ca. einer Stunde und eines Problems mit der Notstromversorgung des Serverraumes kam es am Abend des 15.6. zu einem Totalausfall aller Systeme im Serverraum des RRZE in der Martenstraße.
Die Verfügbarkeit aller Dienste konnte daher am Wochenende leider nicht sichergestellt werden.
Chronologie der Ereignisse:
Status of the HPC systems: all systems and services are up and running again
/wsfs = $FASTTMP on Woody should be available again/wsfs = $FASTTMP on Woody: available on the Woody frontends since 2012-06.16, 20:00 (via TCP only, i.e. not via Infiniband)cshpc: up and running againmemoryhog: up and running againsfront03/sfront04 are available again; batch processing on the Opteron nodes (snode2xx) has been resumed on 2012-06-16, 19:00. Batch processing on the Townsend nodes (snode3xx) has been resumed on 2012.06-18, 17:30 after hardware problems of the Infiniband fabric have been resolvedwoody* frontends are available; batch processing has been resumed on 2012-06-17, 21:00 after hardware problems with the Infiniband switch have been solvedlima1/lima2 frontends are available; batch processing has been resumed on 2012-06-16, 16:30Status OpenVPN (22.06.2012)
Aufgrund eines technischen Fehlers in den Netzwerkkomponenten, welche die RRZE-zentralen Dienste verwalten, kam es gestern ab 14:53 Uhr zu massiven Störungen und länger andauernden Ausfällen.
Trotz Einsatz aller Kräfte konnte die volle Funktionalität erst gegen 20:45 Uhr wieder hergestellt werden.
Ursache war eine schwer zu ermittelnde Fehlfunktion innerhalb der für das dynamische Routing (OSPF) beteiligten Prozesse, die wiederum zu einer gegenseitigen Störung der eigentlich redundant ausgelegten Netzwerkkomponenten führte.
Betroffen waren alle zentralen Server der Universität.
Das RRZE bedauert die Unannehmlichkeiten, die sich durch diesen Ausfall der Netzanbindung ergeben haben.
Zwischen 14:58 Uhr und 21:50 Uhr kam es zu massiven Netzwerkproblemen. Der Zugriff auf zentrale Server ist stark gestört oder nicht möglich. Die Verbindung in und aus dem Netzwerk der Universität war teilweise nicht möglich.
Nach aktuellen Stand normalisiert sich die Lage wieder. Die Ursachen für die Störungen sind derzeit noch unklar. Sobald genaueres bekannt ist, werden wir hierzu nochmal berichten.
Trotz Eingrenzung der Problemursache auf zentrale Systeme, kann noch keine Entwarnung gegeben werden.
Blogdienst und Groupware-Server scheinen derzeit wieder in Betrieb zu gehen. Der zentrale Webcluster und andere zentrale Server sind weiterhin unerreichbar.
Die Ursache des Ausfalls (Fehler in den OSPF-Prozessen zwischen den Routern reliant und sitak (ipv6 war ebenfalls betroffen)) konnte gefunden und eine Lösung hergestellt werden.
Die Netzwerkverbindungen wurde ab 20:45 Uhr wieder vollständig hergestellt. Davon abhängige Server, darunter der Webcluster und dessen Loadbalancer starteten sich danach wieder. Ab 21:50 Uhr war der zentrale Webcluster wieder erreichbar.
Aufgrund einer Fehlkonfiguration an einer zentralen Stelle kam es heute zwischen 10:31 Uhr und 11:02 Uhr zu einem Ausfall der zentralen Webserver.
Das Problem und die Ursache wurden behoben.
Wir bitten die Unannehmlichkeiten zu entschuldigen.
Aufgrund eines technischen Problems ist das zentrale Videoportal der Universität derzeit nicht abrufbar. Betroffen ist auch das iTunes-Angebot.
Das Problem trat zuerst heute vormittag, gegen 10 Uhr auf.
An der Behebung des Problems wird bereits durch mehreren Experten gearbeitet.
Leider kann eine Aussage über die Wiederinbetriebnahme noch nicht gegeben werden.
Update: Das Problem wurde behoben.
Am Freitag den 04.03.2011, ab 14 Uhr, wird das Helpdesksystem des RRZE (“OTRS”) voraussichtlich für 2 Stunden nicht erreichbar sein. Grund ist ein Major-Update auf Version 3.0.5. Eingehende Anfragen werden gespeichert und nach der Systemwartung wie gewohnt in das System geleitet.
Heute kam es zwischen 10:24 Uhr und 11:08 Uhr zu einem Ausfall von verschiedenen Servern, darunter einer der zentralen Webserver der Universität.
Ursache war ein Defekt in einem Netzwerkanschluss.
Derzeit ist der zentrale Dialogserver (infodialog.rrze.uni-erlangen.de , bzw. infofs.rrze.uni-erlangen.de) ausgefallen. Ein Login zur Bearbeitung von Webseiten mittels SSH oder SFTP ist daher derzeit nicht möglich.
Der Server ist seit gestern abend um 22:52 Uhr ausgefallen.
Wir werden darüber informieren, wenn das Problem behoben wurde.
Update (09:36 Uhr)
Das Problem konnte heute früh um 7:45 Uhr behoben werden.