Ersatzwegeschaltungen oder Konzepte für das Disaster Recovery gehören für RZ-Betreiber zum Tagesgeschäft. Sind allerdings Standorte über größere Entfernungen zu koppeln, scheitern herkömmliche WDM-Systeme oft an zu langen Laufzeiten. Praktiker aus dem Umfeld von Weitverkehrsnetzen kennen die Herausforderungen. Ein Erfahrungsbericht aus Duisburg.

Almir Tutic, verantwortlich für die IT-Infrastruktur bei der DU-IT Gesellschaft für Informationstechnologie Duisburg, bereitet aktuell den Umzug des Rechenzentrums bei der Hauptverwaltung der Duisburger Versorgungs- und Verkehrsgesellschaft (DVV) in einen Neubau vor. Mit einer TÜV-Level-Zertifizierung und den Vorgaben aus der EN 50600 gilt es, wichtige Standards einzuhalten. Die Anforderungen an Hochverfügbarkeit, Sicherheit und Laufzeitverhalten bei der Kopplung mit einem Ausweichrechenzentrum sind für die DU-IT nichts Neues, denn die Daten des bisherigen Standorts werden bereits in das Zweit-Rechenzentrum am Standort Krefeld gespiegelt. „Wir nutzen die zwei Standorte zur Aktiv-Aktiv-Lastverteilung sowie als Ausweichlösung. Durch die Entfernung von 40 Kilometern zwischen den Standorten ist die entfernungsbedingte Laufzeitverzögerung allerdings eine nicht zu unterschätzende Herausforderung, denn durch die schnell steigenden Datenmengen sind Fragen der Bandbreite und Latenz noch kritischer geworden“, erklärt Tutic.

Die DU-IT, eine Tochtergesellschaft der DVV, betreibt die IT-Infrastruktur für die über 30 DVV-Gesellschaften wie Stadtwerke, Verkehrsgesellschaft, Service- und Reinigungsgesellschaften, Ämter und Behörden. Die DU-IT baut auch selbst Rechenzentren in Duisburg, hat über die Konzerntochter DCC den Zugriff auf konzerneigene Glasfaserleitungen und bietet dies auch für externe Unternehmen oder Institutionen (etwa die Universität Duisburg Essen) an. Viele der IT-Anwendungen wie das Kraftwerks-Management, der Energiehandel oder das ERP-System sind geschäftskritisch, was heißt, dass Verfügbarkeit und Ausfallsicherheit jederzeit gewährleistet sein müssen. Das Speichernetzwerk und die Backup-Systeme sind daher an beiden Rechenzentrumsstandorten redundant ausgelegt, und die Daten werden permanent gespiegelt.

Insbesondere die SAN-Systeme erfordern mit ihren großen Datenmengen die Nutzung von Fibre-Channel-Hochgeschwindigkeitsübertragungen zwischen den Standorten. „Bei der Ersteinrichtung der Rechenzentrumskopplung war die Latenzproblematik der langen Glasfaserstrecken bereits ein wichtiges Thema. Außerdem wollten wir die vorhandenen Glasfaserkabel möglichst effizient nutzen. Deshalb haben wir uns Experten für Wide-Area-Netze von 3M Services ins Haus geholt. Grund war, dass die Spezialisten seit über 20 Jahren Telekommunikationsnetze für private und öffentliche Netzbetreiber planen und realisieren“, erläutert Wolfgang Wagner, Bereichsleiter für Telekommunikation und Netzinfrastruktur bei der DU-IT, das Vorgehen.

Bei der Standortauswahl von Ausweichrechenzentren gilt generell die Empfehlung für eine eher größere Entfernung, damit bei einer regionalen Störung nicht beide Standorte gleichzeitig betroffen sind. Mit steigender Distanz erhöhen sich allerdings auch die entfernungsbedingten Latenzzeiten der Glasfaserkabel. Pro Kilometer Glasfaser gehen Experten von einer Laufzeit von etwa fünf Mikrosekunden aus. Die Komponenten des optischen WDM-Übertragungssystems (Wavelength Division Multiplexing) dürfen daher nur kleinste zusätzliche Zeitverzögerungen beisteuern, um den „Echtzeitbetrieb“ bei synchroner Datenspiegelung nicht zu stören. Außerdem steigt der Kostenaufwand für den Arbeitsspeicher im SAN-System proportional mit der Latenzzeit.

Durch die Entfernung von 40 Kilometern zwischen den Standorten ist die entfernungsbedingte Laufzeitverzögerung eine nicht zu unterschätzende Herausforderung. Bild: Adva

Die Technik des Wellenlängen-Multiplexings ermöglicht die gleichzeitige Übertragung von Signalen auf einem gemeinsamen Glasfaserpaar und erhöht dadurch die wirtschaftliche Effizienz der Glasfaserverbindung. Allerdings kann, abhängig vom genutzten Verfahren, die Latenzzeit dadurch beträchtlich anwachsen. Bei längeren Glasfaserstrecken hat auch die Auswahl der im Netz erforderlichen optischen Signalverstärker Einfluss auf die Laufzeit. Des Weiteren sind die Transponder, die die Datensignale in ein Lichtsignal mit der entsprechenden Wellenlänge konvertieren, oft nicht für kurze Latenzzeiten ausgelegt.

Schließlich unterscheiden sich Ultra-Low-Latency-Netzwerke auch durch die Form der Dispersionskompensation, die bei optischen Übertragungen die entstehenden Dispersionseffekte eingrenzt. Für die fehlerfreie Datenspiegelung zwischen entfernten Standorten sowie für Business-Continuity- und Disaster-Recovery-Anforderungen müssen also auch die gerätebedingten Latenzzeiten des WDM-Systems optimiert sein.

Auswahl eines geeigneten WDM-Systems

„Bei der Auswahl der WDM-Technik haben wir uns für das von 3M Services vorgeschlagene System FSP 3000 von Adva Optical Networks zusammen mit den Service-Leistungen von 3M Services entschieden. Die Technik ist kosteneffizient und ermöglicht durch Wellenlängen-Multiplexing die Mehrfachausnutzung der vorhandenen Glasfasern. Sie unterstützt alle gewünschten Protokolle und realisiert sehr hohe Übertragungsraten. Außerdem gewährleistet sie durch geringe Latenzzeiten eine störungsfreie Datenspiegelung zum Ausweichstandort“, begründet DU-IT-Mann Wagner die Technikauswahl.

Das WDM-System FSP 3000 realisiert Fibre-Channel-Verbindungen von bis zu 32 GBit/s nach dem Packet-Transport-Protokoll. Außerdem bietet es Ethernet-Übertragungen von 10 GBit/s bis 100 GBit/s und ist kompatibel mit den Brocade-Standards (Brocade Advanced Fabric OS Feature Trunking).

Um die für Rechenzentren definierte Verfügbarkeitsklasse 4 zu erreichen, müssen die eingesetzten Komponenten außerdem fest definierte mittlere Ausfallzeiten (MTBF, Mean Time Between Failure) erreichen. So verfügt der Baugruppenträger des FSP-3000-Systems über eine MTBF-Zeit von 500.000 Stunden, fällt im Mittel also nur etwa ein Mal in 60 Jahren aus. Passive Geräte wie WDM-Filter oder Dispersionskompensations-Module haben einen MTBF-Wert von rund einer Million Stunden, aktive Baugruppen wie Transponder wiederum einen MTBF-Wert von 300.000 Stunden.

Die optische Übertragung lässt sich optional mit einer Layer-1-Verschlüsselung nachrüsten, deren Schutz auch auf angemieteten Leitungen greift. Die Verschlüsselungstechnik ist vom Bundesamt für Sicherheit in der Informationstechnik (BSI) zur Verarbeitung vertraulich eingestufter Daten zugelassen.

„Das WDM-System FSP 3000 von Adva Optical Networks ist kosteneffizient und ermöglicht durch Wellenlängen-Multiplexing die Mehrfachausnutzung der vorhandenen Glasfasern“, berichten Wolfgang Wagner und Almir Tutic von DU-IT. Bild: Martin Ortgies

Adva Optical Networking hat im Mai 2017 außerdem über einen mit Brocade durchgeführten Feldversuch berichtet, bei dem Daten auf Basis der 32-GBit/s-Fibre-Channel-Technik über eine Entfernung von 100 Kilometern übertragen wurden. Der Versuch hat die Fähigkeit des WDM-Systems bestätigt, durch eine latenzarme Übertragung Hochgeschwindigkeitsanwendungen wie Brocade-Gen-6-FC-Speichernetzwerke zwischen zwei entfernten Rechenzentren zu betreiben.

Service-Leistungen für Weitverkehrsnetze

„Mit dem Umzug in das neue Rechenzentrum erweitern wir die Rechenzentrumskapazität und modernisieren die Übertragungstechnik. Durch die höhere Bandbreite und die Einrichtung zusätzlicher Kanäle sind wir zukunftssicher aufgestellt. Planung, Einrichtung und Inbetriebnahme des Transportnetzes werden von 3M Services unterstützt“, erläutert Tutic. Dabei legt er großen Wert auf die Zuverlässigkeit und Erfahrung des Service-Partners mit Wide-Area-Netzen, wie sie beispielsweise bei der Migration auf einen neuen Standort erforderlich sind. „Die Komplexität der Infrastruktur steigt, die Anforderungen an die Verfügbarkeit werden höher und die Reaktionszeiten immer kürzer. Bei einer technischen Frage oder einer Betriebsstörung müssen wir deshalb möglichst schnell auf einen Experten zugreifen können“, so Tutic.

Stefan Gatz, Netzwerkadministrator bei der DU-IT, nennt zwei Beispiele aus dem laufenden Betrieb: „Das Management des WDM-Systems zeigte eine dringende Warnung. Die Anschlusskarte für ein Ethernet-Interface wurde nicht mehr angezeigt. Für die schnelle Fehlereingrenzung haben wir dem Techniker von 3M Services den Remote-Zugang freigeschaltet. Er konnte den Fehler aus der Ferne identifizieren und uns so den entscheidenden Hinweis für die Störungsbeseitigung geben“, beschreibt der Administrator den Reaktionsablauf.

Bei dem zweiten Beispiel ging es um ein größeres Software-Update des Management-Systems. „Wir wollten sichergehen, dass der Betrieb störungsfrei weiterlaufen kann. 3M Services hat uns eine Anleitung erstellt und das Software-Update begleitet. Dabei konnten wir beispielsweise Fragen zum Update der Datenbank oder zur Anpassung einzelner Management-Module sofort klären. Damit wurden auch Netzelemente wie die Firmware der Controller-Karten angepasst. Ohne diese Unterstützung hätten wir das nicht so reibungslos umsetzen können“, fasst Gatz die Erfahrungen zusammen. Dabei betont er die unbürokratische Zusammenarbeit und das Engagement der Service-Mitarbeiter, auch außerhalb vertraglich definierter Reaktionszeiten.

Höhere Effizienz

Die DU-IT zieht folglich eine positive Zwischenbilanz. Die Erweiterung und Modernisierung der Infrastruktur seien abgesichert. Auch bei kurzfristigen Änderungen stehe ein flexibler Partner bereit. „Schließlich stimmt auch das Kosten-Nutzen-Verhältnis der Investitionen. Durch das Wellenlängen-Multiplexing sparen wir wertvolle Glasfasern und die latenzoptimierte, sehr leistungsfähige Übertragungstechnik sichert die Datenspiegelung über große Entfernungen“, fasst der Bereichsleiter für Telekommunikation und Netzinfrastruktur sein Fazit zusammen.

Martin Ortgies ist Fachjournalist in Hannover.