Im Zuge der Virtualisierung ist in Rechenzentren ein Wandel der Routing-Strategien zu beobachten. Das klassische dreischichtige North-to-South-Routing weicht immer häufiger den Spine-Leaf-Architekturen. Der komplexe Aufbau dieser Topologien lässt sich durch Kreuzverbindungsmodule vereinfachen. Sie ersetzen die klassischen Single-Fiber-Patchungen im Mesh-Layer und ermöglichen auf diese Weise eine flexible und klar strukturierte Verkabelung.

Virtualisierte Anwendungen nehmen im Rechenzentrumsbereich immer mehr Raum ein. Schon seit einigen Jahren wächst die Anzahl virtualisierter RZ-Umgebungen, und dieser Trend wird sich künftig eher noch verstärken. Wichtigste Treiber dieser Entwicklung sind Konzepte wie Cloud Computing, IP-Storage oder Software as a Service (SaaS). Sie erfordern eine effizienzoptimierte Ausnutzung vorhandener Infrastrukturen, sodass für viele RZ-Betreiber kein Weg am Aufbau virtualisierter Strukturen vorbeiführt.

Der Trend geht damit immer deutlicher zum Software-Defined Datacenter, das über komplett virtualisierte Infrastrukturen verfügt und alle Ressourcen an Speicherplatz oder Rechenleistung zu einem einheitlichen Ressourcenpool zusammenfasst. Aus diesem Pool erhalten die verschiedenen Anwender dann flexibel und bedarfsgerecht die aktuell benötigten Teilressourcen.

Änderung der Routing-Strategien

Um solche Ressourcenpools möglich zu machen, müssen Betreiber in so gut wie allen Rechenzentren eine große Zahl zusätzlicher horizontaler Ethernet-Verbindungen zwischen den virtualisierten Servern aufbauen. Denn nur so lassen sich jene Flexibilitäts- und Redundanzlevel erreichen, die für einen zentralen softwarebasierenden Zugriff und eine kontinuierliche, situativ wechselnde individuelle Ressourcenzuteilung notwendig sind. Das numerische Verhältnis zwischen extern und intern gerouteten Verbindungen verändert sich dadurch drastisch: In der Vergangenheit kamen auf eine interne Verbindung rund vier Verbindungen, die extern geroutet wurden. Die wachsende Nutzung von Plattformvirtualisierungen – etwa auf Basis von Docker – hat dieses Verhältnis jedoch komplett umgekehrt. Auf eine extern geroutete kommen mittlerweile vier intern geroutete Verbindungen. Der weitaus größte Teil des RZ-spezifischen Datenverkehrs läuft damit künftig intern und findet zwischen den virtualisierten Servern statt.

Bild 1. Traditionelle dreischichtige Router-Architektur (links) und zweischichtige Spine-Leaf-Architektur (rechts). Bild: Fibercon

Der Trend zur Virtualisierung hat indessen nicht nur Konsequenzen für die Anzahl interner Ethernet-Verbindungen, denn die angestrebte hochflexible Nutzung der im Ressourcenpool gebündelten Kapazitäten setzt laufzeitoptimierte Verbindungen mit Datenübertragungsraten zwischen 10 und 40 GBit/s voraus. Die Realisierung solcher hochleistungsfähigen Gigabit-Ethernet-Verbindungen verlangt von RZ-Betreibern eine Anpassung der Routing-Strategien. Das klassische, lange Zeit bewährte vertikale North-to-South-Routing, das aus den Ebenen der Core-, Aggregations- und Access-Router besteht (Bild 1, links), ist für die durchgehende Verknüpfung virtualisierter Server-Strukturen kaum noch geeignet. Ursprünglich für das externe Routing konzipiert, steht die kaskadenartige Struktur dieser dreischichtigen Routing-Topologie einer Optimierung der internen Datenlaufzeit fast immer im Weg.

Viele RZ-Betreiber haben deshalb begonnen, die dreistufigen Kaskadierungen durch eine zweistufige Spine-Leaf-Achitektur zu ersetzen (Bild 1, rechts). Bei dieser Routing-Topologie, die auch als East-to-West-Routing bekannt ist, ist ein Kreuzverbindungsschema realisiert, bei dem jeder Router des Spine-Layers direkt mit jedem Router des Leaf-Layers verknüpft ist (Bild 2).

Bild 2. Kreuzverbindungsschema der Spine-Leaf-Architektur. Jeder Router des Spine-Layers ist bei diesem Ansatz direkt mit jedem Router des Leaf-Layers verknüpft. Bild: Fibercon

Die Server-basierende Zwischenebene des klassischen Aggregation Layers entfällt zugunsten einer rein netzwerkbasierenden, redundanten Mesh-Layer-Ebene. Die Verknüpfung der Router erfolgt über faseroptische GbE-Module in Gestalt von SFP- und QSFP-Transceivern, wobei derzeit auf Leaf-Seite Transceiver für Datenraten von 0,1 bis 25 GBit/s, auf Spine-Seite Transceiver für Raten von 10 bis 100 GBit/s gängig sind.

Spine-Leaf-Architekturen als Herausforderung

Die Vorteile dieses Ansatzes liegen auf der Hand: Da die Router jeweils nur einen Hop voneinander entfernt sind, verkürzt das East-to-West-Routing-Schema die Datenlaufzeit erheblich. Darüber hinaus entstehen durch die neue Routing-Architektur zahlreiche parallele Pfade. Diese Parallelstrukturen versucht man durch neuere Multipfad-Protokolle wie TRILL (Transparent Interconnection of Lots of Links) oder SPB (Shortest Path Bridging) gezielt nutzbar zu machen, was zugleich die Ablösung älterer Protokolle wie STP (Spanning Tree Protocol) bedeutet. Vor allem im Bereich IP-Storage versprechen sich RZ-Betreiber davon deutliche Bandbreitengewinne bei signifikanter Reduktion von Latenzzeiten.

Auch wenn Spine-Leaf-Architekturen äußerst effektiv sind, war ihre Umsetzung allerdings bisher mit technischen Schwierigkeiten behaftet. Dies galt vor allem für die zentrale Herausforderung jedes korrekten East-to-West-Routings – die zuverlässige und lückenlose Realisierung des Mesh-Layers. Sie erwies sich bislang als äußerst anspruchsvoll, da die hohe Anzahl paralleler Verbindungen bei wachsender Router-Anzahl zu immer komplexeren Leitungsverbindungen führte. Prinzipiell gilt für jede Spine-Leaf-Topologie, dass bei der Vernetzung von M = ∑ Spine-Router und N= ∑ Leaf-Router genau M×N faseroptische Verbindungen notwendig sind.

Schon ein schlankes Kreuzverbindungsschema, das lediglich acht Leaf-Router mit acht Spine-Routern verknüpft, erfordert dementsprechend bereits 64 Verbindungen – 128 SFP-Transceiver als optische Aktivkomponenten eingeschlossen. In Großrechenzentren sind dabei selbstverständlich noch ganz andere Dimensionen zu bewältigen. Ist zudem eine rasche Skalierung der Server-Infrastruktur erforderlich, kann sich die lückenlose Umsetzung solcher Verbindungsschemata schnell als kaum noch zu lösende Aufgabe erweisen.

Bild 3. Kreuzverbindungsschema der Spine-Leaf-Architektur auf Basis integrierter, faseroptischer Kreuzverbindungsmodule (hier exemplarisch das Produkt CrossCon). Bild: Fibercon

Wie schwierig sich der Aufbau von Spine-Leaf-Topologien bisher gestaltete, wird vollends klar, wenn man sich bewusst macht, dass Kreuzverbindungen im Mesh-Layer bislang durch Single-Fiber-Patchungen realisiert waren. Spine- und Leaf-Geräte werden gleichermaßen am Patch-Feld abgebildet, die Router-Signale per Trunk-Kabel durch das RZ geleitet und im Mesh-Layer via Breakout-Kabel auf die Patch-Felder geschaltet. Dies bedeutet, dass eine Vielzahl einzelner LC-Duplex-Verbindungen gesteckt sein muss, was nicht nur mit hohem Arbeits- und Kostenaufwand verbunden ist, sondern auch eine nicht zu unterschätzende Fehlerquelle darstellt. Denn angesichts der Vielzahl an Steckverbindungen ist eine falsche Zuordnung schnell geschehen. Dies zu korrigieren, fällt oft nicht leicht, da bei umfangreichen Kreuzverbindungs-Patchungen eine lückenlose Dokumentation nahezu unmöglich ist. Die Fehlersuche wird hier rasch zur Sisyphus-Aufgabe.

Kreuzverbindungsmodule vereinfachen praktische Umsetzung

Doch das East-to-West-Routing muss nicht zwangsläufig so problematisch bleiben, wie es sich bisher präsentiert hat. Technische Weiterentwicklungen ermöglichen es mittlerweile, die Kreuzverbindungen im Mesh-Layer nicht nur einfacher und schneller, sondern auch klar strukturiert zu realisieren. Voraussetzung ist allerdings die Bereitschaft, sich vom klassischen Patch-Konzept zu verabschieden, da bei den neuen Kreuzverbindungstechniken Patch-Felder und Patch-Kabel nicht mehr nötig sind. Ihre Aufgaben übernehmen stattdessen sogenannte Kreuzverbindungsmodule wie etwa das von Fibercon entwickelte und von LWL-Sachsenkabel gefertigte CrossCon-System (Bild 4). Diese Module sind als 19-Zoll-Rack-Einschub verfügbar. Sie weisen ein neuartiges dreidimensionales Steckschema für Duplex-Datenverbindungen (mit integriertem Spalten- und Zeilentausch innerhalb des Moduls) auf, das die benötigte Anzahl an Verbindungen von n2 Einzelverbindungen auf n Parallelverbindungen reduziert.

Bild 4. Kreuzver-bindungsmodul CrossCon mit 8×8 faseroptischen URM-Verbindungen (SMF). Bild: Fibercon

Die Verbindung zwischen dem Modul sowie den Routern des Spine- beziehungsweise Leaf-Layers geschieht über klassische Trunk-Kabel, Einzelverbindungen entfallen komplett. Das CrossCon-System ermöglicht zum Beispiel die Vermaschung durch Trunk-Kabel mit Mehrfasersteckern à 24 Fasern, was die Anzahl der erforderlichen Steckvorgänge um den Faktor 12 reduziert. Der Aufbau des Mesh-Layers ist damit massiv vereinfacht und die vormals zweidimensionale, oft unübersichtliche Kreuzverbindungstruktur zugunsten eines strukturierten und übersichtlichen dreidimensionalen Aufbaus entflochten.

Kreuzverbindungsmodule gestatten derzeit die Realisierung von Kanalbreiten mit bis zu 32×32 Fasern. Da sich die einzelnen Module kaskadisch erweitern lassen, sind jedoch in unbegrenzter Anzahl weitere Router integrierbar. Dies bietet zusammen mit der Trunk-Kabel-Anbindung der Router optimale Voraussetzungen für zügige Erstinstallationen wie auch schnelle Skalierungen. Beim Aufbau von Spine-Leaf-Architekturen entsteht somit viel Flexibilität. Darüber hinaus lassen sich auf Wunsch auch fixe Mesh-Layer-Bausteine definieren, die der Betreiber als standardisierte Erweiterungsstrukturen oder als redundanter Mirror integrieren kann.

Fazit

Der Einsatz von Kreuzverbindungsmodulen vereinfacht die praktische Umsetzung von Spine-Leaf-Architekturen erheblich. Durch klar definierte und übersichtliche, strukturierte Verbindungswege entfallen Fehlerquellen, und der Betreiber gewinnt bei der Flexibilisierung und Effizienzoptimierung des Infrastrukturaufbaus.

Philipp Nölle ist bei Fibercon tätig, www.fibercon-gmbh.de. Sandro Malessa ist bei LWL-Sachsenkabel tätig, www.sachsenkabel.de.