Ob eine Weitverkehrs-Übertragungstrecke so funktioniert, wie der Betreiber es sich vorstellt, hängt unter anderem von einer gewissenhaften Qualifizierung nach der Installation ab. Die neuen hohen Geschwindigkeiten erfordern eine angemessene Messtechnik und entsprechendes Know-how.

Der vorliegende Text ist der Auftakt einer Artikelserie zu den Aufgaben der Messtechnik in 100G-Netzen. Er beschäftigt sich mit der Entwicklung hin zu Geschwindigkeiten von 100 GBit/s und beschreibt die allgemeinen Herausforderungen für die Messtechnik. Weitere Beiträge werden sich mit der Physical-Layer-Messtechnik bei 100G, Übertragungsmessungen bei Layer 2, Layer 3 und Layer 4 und mit der Fehlersuche bei der 40G/100G-Übertragung beschäftigen.

Die Entwicklung

Viele Jahrzehnte lang arbeiteten Weitverkehrsübertragungssysteme auf Grundlage der TDM-Technik (Time Division Multiplexing). Bei diesem Zeitmultiplexverfahren werden die Daten verschiedener Sender in bestimmten Zeitabschnitten auf einem Kanal übertragen. Via SDH (Synchronous Digital Hierarchy) lassen sich so Datenraten von 155 MBit/s bis maximal 40 GBit/s erzielen. Heute sind leistungsfähigere Ansätze gefragt. Daher erobert aktuell die paketbasierende und eigentlich für lokale Netze entwickelte Ethernet-Übertragungstechnik auch den Weitverkehr. Derzeit sind dabei Datenraten von 10 MBit/s bis 400 GBit/s anzutreffen. Optische Transportnetze (OTN, Optical Transport Network) auf dieser Basis sind in der Lage, die im Bild 1 genannten Techniken gebündelt und gesichert auf einer Faser zu übertragen.

Beim Aufbau von Server-Systemen in Rechenzentren werden momentan vor allem zwei konkurrierende Ansätze genutzt. Es handelt sich dabei um Fibre-Channel-Cluster mit Bitraten bis 32G/128G und um die Ethernet-Technik mit 40/100G. Schon bald wird der Schritt hin zu 400G Ethernet erfolgen. Doch auch Kupfer hat noch seine Bedeutung. Standards wie 100GBase-CR10, 100GBase-CR4, IEEE 802.3ba oder IEEE 802.3bj erlauben auf kurzen Distanzen bei Twisted Pair Copper Übertragungsraten bis zu 100 GBit/s. Für Datenraten bis 100 GBit/s sind die Server in Rechenzentren zudem vermehrt mit kurzen, fertig assemblierten aktiven oder passiven DAC-Kabeln (Direct Attach Cable) gekoppelt. Anders als die oft genutzten Lichtwellenleiter-AOC-Patch-Kabel (Active Over Cable) mit fest verbundenen Transceivern sind DAC-Kabel allerdings empfindlich gegenüber elektromagnetischen Störungen.

Bild 1: Entwicklung der Datenraten: 100 GBit/s und sogar 400 GBit/s sind 2018 machbar. Bild: Viavi Solutions

Für den Ruf nach permanent höheren Bandbreiten in Backbone-Netzen gibt es zahlreiche Gründe. Dazu gehören die folgenden Themen:

Internet-Datenverkehr: Die starke Zunahme von Videoübertragungen hat zu einem extremen Anstieg des Internet-Datenverkehrs geführt. Ein Beispiel sind die permanenten weltweiten Up- und Download von YouTube-Videos. Früher nur geringe Upload-Bandbreiten stiegen mit den Anforderungen privater Nutzer stark an. Auch die jederzeit verfügbaren Mobilfunknetze tragen zu dem rasanten Wachstum des Datenvolumens bei.

Rundfunkanstalten: Für die Produktion nutzen Anwender in Rundfunkanstalten heute Server-Datenbanken. Damit müssen sie auch die extrem gestiegene Nachfrage nach den Inhalten ihrer Mediatheken bedienen. Da 4K-UHD1 als Quellsignal (60Hz) 14,93 GBit/s benötigt, lässt es sich nicht auf 10G transportieren. 8K-UHD2 führt daher zu einem Anstieg der Studiodatenrate auf 24 GBit/s.

Cloud Computing: Bei diesem Ansatz entfallen die hohen Startinvestitionen in Hardware und Software, denn der Betrieb eines lokalen Rechenzentrums ist nicht mehr notwendig. Stattdessen lassen sich externe, flexibel anpassbare Rechenzentrumsressourcen zu kalkulierbaren Konditionen mieten. Heutige Backbone-Bandbreiten gestatten die Auslagerung ganzer Rechenzentren problemlos. Rechenleistung (IaaS), Plattformen (PaaS) und Software (SaaS) können damit dezentral und hochskalierbar bereitgestellt werden. Produktivität und Sicherheit steigen dank gespiegelter, ausfallsicherer Rechenzentren. Allerdings gehen diese Vorteile natürlich gleichzeitig einher mit einem weiteren Anstieg des Internet-Datenverkehrs.

Bild 2: Starkes Datenratenwachstum bei hochauflösenden Video- und Studiosignalen. Bild: Viavi Solutions

Internet of Things (IoT), Smart Home, Smart Grid: Auch diese Ansätze werden zu einem weiteren Anstieg der Datenmengen beitragen. Zwar generieren dort in der Regel die Sensoren nur kleinste Datenmengen. Dafür existieren von diesen Sensoren jedoch extrem große Mengen. Zudem bleiben die Daten nicht lokal, sondern wandern in die Cloud. Ihre dortige Akkumulierung wird dann zu einer weiteren Last für die Netze. Ein Beispiel: Beim autonomen Fahren entsteht mit großer Sicherheit ein dezentraler Client-zu-Client-Datenstrom. Gleichzeitig ist absehbar, dass die Betreiber im Zusammenhang mit der Elektromobilität auch an zentraler Stelle Daten sammeln, etwa um geografische Informationen zur Verwaltung der Ladeinfrastruktur zu generieren.

Mit dem aus den geschilderten Gründen steigenden Bedarf für 100 GBit/s geht eine adäquate Entwicklung bei den Interfaces einher. Diese werden immer preiswerter und kleiner. CFP-4, als dritte Generation der 100G-Interfaces geplant, zeigte sich bereits 2017 durch die nochmals kleineren QSFP28-Interfaces überholt. Letztere weisen den gleichen Formfaktor wie die bekannten QSFP+-Serial-Interfaces auf, sind gleichzeitig jedoch wesentlich preisgünstiger. Mit SFP28 hat sich zudem bereits die nächste Generation angekündigt.

10 GBit/s mit SFP+-Transceivern ist heute der Standard im Bereich professioneller Ethernet-Kommunikation. Schon in naher Zukunft, vermutlich noch 2018, wird dies für 100 GBit/s mit QSFP28- und SFP28-Transceivern gelten. Entsprechend wird sich native 100G-Systemtechnik gegenüber n*10G DWDM-Ansätzen (Dense Wavelength Division Multiplex) flächendeckend durchsetzen. Neue Standards wie Flex-E (Flexible Ethernet) und Flex-O (Flexible Optical Transport Network) etablieren sich auf breiter Basis.

FlexE sind vom OIF (Optical Internetworking Forum) definierte flexible Ethernet-Signale, deren Übertragung OTN-kompatibel geschieht und die TDM für Link-Aggregation und Multiplexing nutzen (Low Latency). FlexO nach G.709.1/Y.1331.1 ist von der International Telecommunication Union (ITU) im Januar 2017 für das Bonding von Standardzubringern wie Ethernet (ETH), FC (Fibre Channel) oder Synchrone Digitale Hierarchie nach FlexO in der OTUCn-Signalstruktur definiert (n*105.258.138,053 kBit/s, OTUCn steht für Optical Transport Unit Concatenated der Hierarchiestufe n). All dies führt zu neuen Herausforderungen an WDM-Systeme (Wavelength Divison Multiplex) und die dazugehörige Messtechnik.

Herausforderungen für die Messtechnik

Paketbasierende Netze erfordern bei Qualitäts- und Leistungsmessungen neuartige Messverfahren. Ältere Methoden, die bei SDH oder PDH (Plesiochrone Digitale Hierarchie), also in TDM-Netzen, zum Einsatz kamen, eignen sich an dieser Stelle nicht. Die Beschränkung auf einen einfachen Bitfehlertest liefert ebenfalls keine genügend aussagekräftigen Daten und kann sogar irreführend sein. Denn die Übertragung erfolgt asynchron, also mit variablen Rahmenlängen und mit Pausen zwischen den Rahmen. Zudem ist im Gegensatz zur früheren Praxis die physikalische Bitrate am Netzwerk-Interface mit ihren virtuellen Kundenverbindungen häufig überbucht. Diese Überbuchung war in TDM-Netzen nicht vorgesehen.

Aufgrund des damit verbundenen Ein- und Auslesens der Pakete in den Datenpuffer ist die Laufzeit von der Rahmenlänge abhängig. Dies wiederum führt zu statistischen Änderungen der Laufzeit im Weitverkehr. Beim Ethernet Switching läuft jede Datenverbindung über Puffer (Store and Forward, also im Teilstreckenverfahren). Im Fall von SDH geschah das Multiplexing noch in Echtzeit und ohne Datenpuffer. Bei der Übergabe von Ethernet-Schnittstellen sind Bandbreiten- und Laufzeitmessungen heute Standard (RFC-2544, Y.1564), bei SDH konnte darauf verzichtet werden. Bild 3 zeigt, dass unterschiedliche Bitfehlerverteilungen die nutzbare Bandbreite stark beeinflussen. Sind Pakete beispielsweise 1.518 Byte groß, ergibt sich für eine Bitfehlerrate von 10-5 ein Durchsatz von entweder 0 Prozent oder bestenfalls >75 Prozent (> 99 Prozent bei Jumbo-Frames).

Auf 100G-Installationen in lokalen Netzen wie dem LAN oder SAN (Storage Area Network) blicken die Techniker heute ebenfalls mit anderen Augen. Früher wurde dort auf Plug and Play gesetzt, und die Überwachung nach der Inbetriebnahme erfolgte mittels Remote-Monitoring oder den entsprechenden System-Tools. Neuerdings ist die Inbetriebnahme an dieser Stelle bisweilen eine schmerzliche Prozedur. Probleme entstehen, wenn Backbones auf 10 Bit/s oder auf 100 GBit/s aufgerüstet oder SAN-Cluster von 4 GBit/s auf 8 GBit/s oder 16 Bit/s migriert wurden. Dies ist damit zu erklären, dass in beiden Fällen die benötigte Größe der Datenpuffer in Endgeräten und/oder Switches bei steigender Bitrate und kurzen Frames gegenüber niederen Raten ansteigt. Jeder SAN-Administrator weiß um die heftigen Zusatzkosten für erweiterten Buffer-Credit-Speicher bei einem SAN-Upgrade von Generation 4 (8G FC) auf Generation 5 (16G FC) oder Generation 6 (32G FC). Bei kurzen Frames befinden sich mit steigender Bitrate entsprechend mehr Frames auf der Strecke, die alle in den Interfaces zwischengepuffert und dann verarbeitet werden wollen, bevor weitere Bündel zum Versand anstehen. Aus den Folgen dieser Probleme resultieren enge Wartungsfenster, und bei Neuinstallationen kommt der Link nicht zustande.

Bild 3: Unterschiedlich verteilte Bitfehler mit verschiedenartigen Folgen für den Ethernet-Paketdatenstrom: Messverfahren serieller Übertragung greifen dabei nicht. Bild: Viavi Solutions

Zu klären ist nun, ob es sich um einen Planungsfehler oder einen Installationsfehler handelt. Planungsfehler könnten Dämpfung, Länge oder Buffer-Credit-Speicher betreffen. Installationsfehler entstehen oft durch falsch gesteckte Crossover, übersehene Verschmutzungen, Überdehnungen oder Kabelquetschungen. Insbesondere Verschmutzungen sind ein häufiges Problem, denn selbst eingeschweißte Breakout-Boxen und -Kabel sind keineswegs grundsätzlich sauber. Wenn nur eine von zwölf genutzten Fasern eines MPO-Kabels verschmutzt ist, funktioniert der Link nicht.

Bei Twisted-Pair-Verbindungen reduzieren ständig kleinere Dämpfungsbudgets die verwendbaren Link-Längen. Planer sind daher zur Minimierung von Patchungen gezwungen. An dieser Stelle nutzen sie dann DAC-Kabel. Bauen die Techniker Bestandsverkabelungen neu auf oder erweitert sie, ist bei Kupfer die Zertifizierung für 40/100G mit Class II-Kabeltestern und bei Glasfaser die Tier 1-Zertifizierung unabdingbar.

Moderne Netze verfügen über immer mehr integrierte Überwachungs- und Diagnosemöglichkeiten. Auf die Kontrolle der Physik via Layer-1-Abnahmemessung können Betreiber dennoch nicht verzichten. Weiterhin wird die gesonderte Ende-zu-Ende-Messung auf Layer 2 und Layer 3 auch bei 100G ein anerkannter Standard für Netzübergabeprotokolle sein. Da sich Layer-1-Messwerte von Anwendern vielfach nur schwer beurteilen lassen, legen diese oft Wert auf sogenannte aktive Messungen, beispielsweise auf Layer 2, die ihnen ihre vereinbarten Datenraten explizit als „fehlerfrei erfüllt“ anzeigen.

Fazit

Die seit längerem verfügbaren systemintegrierten TWAMP-Agenten (Two-Way Active Measurement Protocol) testen die vereinbarten Service-Profile im Unterschied zu dedizierten Field-Testern (zum Beispiel MTS-58xx von Viavi) nur teilweise. Zudem sind für hohe Datenraten virtuelle 10G/40G/100G-Mess-Probes grundsätzlich noch nicht verfügbar.

Bei Durchsatzmessungen hoher Bandbreiten ist spezielle Messhardware mit eigens dafür konzipierten FPGAs (Field Programmable Arrays, die den Programmable Logic Devices, PLDs, gefolgt sind) ebenso erforderlich wie spezifisch entwickelte Netzwerkinterfaces zur Erzeugung und Analyse von Full-Rate-Testsignalen, die nur in dedizierter Labor- und Feld-Messtechnik zum Einsatz kommen.

Thomas Friedrich ist Consultant und Focal Account Manager bei Viavi Solutions und nebenberuflicher Lehrauftragter für Kommunikationstechnik an der Dualen Hochschule Baden-Württemberg, www.viavisolutions.com.