Mit dem PowerEdge-MX7000-Chassis hat Dell EMC eine Computing-Plattform entwickelt, die sich flexibel bestücken lässt und keine Midplane erfordert. Sie soll einen Umstieg auf künftige Technologiegenerationen im laufenden Betrieb ermöglichen. LANline hat die neue Lösung im Dell Solution Center in Frankfurt am Main getestet.

Um Blade-Chassis-Infrastrukturen effizient nutzen zu können, sollten sich die einzelnen Compute-, Storage- und Networking-Komponenten flexibel kombinieren lassen. Dell EMC bezeichnet sein neues modulares MX7000-Chassis, das ohne Midplane auskommt, als „kinetische“ Infrastruktur, weil es sich prinzipiell für alles anpassen lässt, was derzeit erforderlich ist oder es künftig sein könnte. So soll es laut Hersteller möglich sein, aktuell noch im Entwicklungsstadium befindliche Technik für eine Composable Infrastructure wie Gen-Z, Open CAPI (Coherent Accelerator Processor Interface) oder CCIX (Cache Coherent Interconnect for Accelerators) in das Chassis zu integrieren, sobald sie verfügbar sind. Die genannten Verbindungsprotokolle für eine schnelle Kommunikation zwischen RAM und verschiedenen Komponenten wie CPU, GPU oder FPGA sollen es erlauben, Arbeitsspeicher und Storage Class Memory (SCM) bedarfsabhängig und dynamisch verschiedenen Systemen zuzuweisen.

Das Management-Tool OME zeigt den aktuellen Chassis-Zustand an.

Damit keine Midplane erforderlich ist, hat Dell EMC alle MX-Komponenten so gestaltet, dass Konnektoren die Module direkt miteinander verbinden. Der Administrator steckt die Server- und Storage-Module von vorne hochkant in das Chassis. Auf der Rückseite tragen sie Steckverbinder, die in die Switch- und Storage-Fabric-Module einrasten, die von hinten in das Gehäuse eingeschoben sind. Der Verzicht auf eine Midplane bietet mehrere Vorteile. Es vermeidet Single Points of Failure und bei künftigen Technik-Updates wie zum Beispiel einer Integration von Gen-Z ist kein Midplane-Tausch und damit keine Downtime nötig. Das Chassis lässt sich zudem besser kühlen, weil es von vorne bis hinten offen ist und die Luft ungehindert hindurchströmen kann.

Flexibel kombinierbare Module

Die MX7000-Plattform ist das Nachfolgemodell des Blade-Chassis M1000e und bringt zahlreiche Verbesserungen unter anderem bei der Netzwerk- und SAN-Anbindung, der Skalierbarkeit und der Anbindung von lokalem Storage. Das Gehäuse bietet auf sieben Höheneinheiten acht senkrechte Front-Steckplätze, die sich mit Compute- und Storage-Modulen in beliebiger Kombination bestücken lassen. Es wäre zum Beispiel auch möglich, ein Compute-Blade und sieben Storage-Blades zu verbauen. Auf der Rückseite stehen für die Switch- und Storage-Fabric-Module fünf waagerecht angeordnete Slots zur Verfügung. Jeder Slot nimmt zwei redundante Module mit halber Baubreite auf. Die oberen zwei Slots stellen die Ethernet-Switch-Fabric A und B bereit. Der untere Slot wird für die Storage-Fabric genutzt und lässt sich wahlweise mit zwei 12-GbSAS- oder zwei 32-GbFC-Modulen bestücken. Hinzu kommen zwei Management-Module, die im Gehäuse ganz unten zwischen den maximal sechs Netzteilen platziert sind.

Das Chassis steuert lastabhängig automatisch, wie viele Netzteile aktiv sind. Für die Lüftung aller Komponenten sorgen drei voneinander unabhängige Kühlkreisläufe. Die Mindestausstattung eines MX7000-Chassis besteht aus einem Server-Einschub und je zwei redundanten Switch- und Management-Modulen sowie zwei Netzteilen. Derzeit lassen sich bis zu zehn MX7000-Gehäuse zu einer Fabric zusammenschalten, die sich wie ein einziges großes Chassis verwalten lässt.

Server und Storage

Die neue MX7000-Lösung bietet zwei Server-Modelle. Der mit einer oder zwei Intel Xeon Scalable CPUs lieferbare Standard-Server PowerEdge MX740c benötigt einen Steckplatz. Er verfügt über 24 DIMM-Slots und unterstützt bis zu 1,5 TByte RAM. Das System lässt sich mit bis zu sechs 2,5-Zoll-SAS/SATA-Laufwerken (HDD oder SSD) oder NVMe-SSDs bestücken. Der 4-Wege-Server MX840c hat die doppelte Baubreite. Er ist mit 48 DIMM-Slots ausgestattet, unterstützt bis zu 6 TByte RAM und kann bis zu acht lokale 2,5-Zoll-Laufwerke aufnehmen. Bei beiden Servern lässt sich das Betriebssystem optional auf Dell BOSS M2-SATA-SSDs (Boot Optimized Storage Solution) installieren. Für VMware ESXi stehen zudem Dual-SD-Karten zur Verfügung. Für das Out-of-Band-Management verfügen die Server über einen iDRAC9 (Integrated Dell Remote Access Controller), der eine automatisierte Server-Konfiguration unterstützt.

Die Fabric-Detailansicht stellt die Netzwerkkonfiguration grafisch dar.

Dell EMC lässt alle Chassis-Einschübe aus stabilem Metall fertigen. Der Ein- und Ausbau der Module ist sehr einfach. Sogar das Motherboard der Server lässt sich mit einem Handgriff entnehmen. Dafür muss man lediglich einen Metallbügel hochklappen und das Board daran nach oben herausziehen. Auf der Unterseite sorgen Metalldorne dafür, dass das Board beim Einbau wieder sauber einrastet.

Das Storage-Modul bietet mit bis zu 16 2,5-Zoll-SAS-Laufwerken eine hohe Speicherkapazität. Es belegt einen Steckplatz und wird über Konnektoren direkt mit den SAS-Switch-Modulen verbunden. Ein Chassis kann bis zu sieben Storage-Einschübe mit maximal 112 Laufwerken aufnehmen. Der Administrator definiert für jedes Storage-Modul, ob es im Shared- oder im Mapped-Modus arbeiten soll. Im Shared-Modus können alle im Chassis vorhandenen Server gemeinsam auf den Speicher zugreifen. Voraussetzung ist, dass die Server ein Cluster-File-System nutzen.

In den meisten Fällen wird der Mapped-Modus zum Einsatz kommen, bei dem ein Laufwerk exklusiv an einen Server angebunden ist. Die Laufwerke lassen sich beliebig auf die im Chassis vorhandenen Server verteilen. Es ist möglich, alle Drives nur einem einzigen Server zuzuordnen. Die Server greifen über einen RAID-Controller oder einen Storage-HBA auf den Speicher zu. Defekte Laufwerke kann der Administrator im laufenden Betrieb austauschen. Dazu entriegelt er den Storage-Einschub und zieht ihn nach vorne heraus. Dabei bleibt das flexible Konnektorkabel mit dem SAS-Switch-Modul verbunden. Das Laufwerk lässt sich nun von der Seite herausnehmen und ersetzen.

Für die Verbindung mit externen Speichersystemen unterstützt die MX7000-Plattform mehrere Verfahren. Um die Server über Fibre Channel anzubinden, gibt es zwei Möglichkeiten: Zum einen lassen sich die Server mit Dual-Port-FC-HBAs bestücken, und anstelle der SAS-Switches kommen in Fabric C zwei 32-GbFC-Brocade-FC-Switches zum Einsatz. Das Modell MXG610s unterstützt 16 interne FC-Ports, acht 32-GbFC-SFP-Ports und zwei QSFP-Uplink-Ports mit viermal 32-GbFC pro Port. Zum anderen kann die Storage-Anbindung der Server auch über die Ethernet-Fabric mit FCoE (Fibre Channel over Ethernet) erfolgen. Die externen Speichersysteme sind bei dieser Konfiguration über ein externes FCoE-Gateway an das MX7000-Chassis angebunden. Ein direkter Connect mithilfe von NPIV (N-Port ID Virtualization) ist ebenfalls möglich. Über die Ethernet-Fabric lassen sich externe Storage-Arrays zudem per iSCSI mit den Servern verbinden.

Leistungsfähige Fabric-Switches

Die skalierbare Non-Blocking-Fabric-Architektur der MX7000-Plattform verbindet die Server-Einschübe über 25GbE mit den Chassis-Switches. Die Verbindung mit dem externen Netzwerk erfolgt über 100GbE- und 32GbFC-Uplinks. Die Architektur ist kompatibel mit 40-, 10- und 1GbE-Netzwerken. Die für größere Umgebungen geeignete Fabric-Switching-En­gine MX9116n unterstützt zudem FCoE mit 32 GbFC. Server, die über Converged-Ethernet-Adapter verfügen, benötigen damit für die FC-Connectivity keine zusätzlichen FC-HBAs. Für die Anbindung der Hosts bietet der MX9116n-Switch 16 interne 25-GbE-Ports. Er verfügt zudem über zahlreiche Uplink-Ports: zweimal 100GbE, zwei weitere 100GbE-Ports, die sich alternativ für achtmal 32-GbFC nutzen lassen, sowie zwölf Fabric-Expansion- oder Uplink-Ports, von denen sich jeder Port wie folgt konfigurieren lässt: zweimal 100GbE, zweimal 40GbE, achtmal 25 GbE oder achtmal 10GbE.

Die Laufwerke eines Storage-Moduls lassen sich den Servern eines Chassis flexibel zuordnen.

Wie erwähnt lassen sich bis zu zehn MX7000-Chassis als einziges System verwalten. Die Erweiterungsgehäuse verbindet man über das Fabric-Expander-Modul MX7116 mit den Fabric-Expansion-Ports des im Master-Chassis verbauten MX9116n-Switches. Jeder Expansion-Port stellt in dieser Konfiguration achtmal 25GbE bereit. Die nicht genutzten Ports der MX9116-n-Switches lassen sich für die Anbindung externer Server nutzen. Für Single-Chassis-Lösungen bietet Dell EMC den deutlich kleineren Ethernet-Switch MX5108n an. Dieses Modell verfügt über acht interne 25GbE-Ports, zwei 100GbE-Uplinks, einen 40GbE-Port und vier 10-GBase-T-Ports. Für das MX7000-Chassis sind zudem zwei Pass-Through-Switches für 10GbE und 25GbE erhältlich, die jeweils mit 16 Ports ausgestattet sind.

Smart-Fabric-Modus

Für die Konfiguration der Netzwerkverbindungen stehen dem Administrator drei Möglichkeiten offen. Der Full-Switching-Modus basiert auf Dell EMC Networking OS10 Enterprise Edition. Er bietet alle Standardfunktionen des L2/3-Switchings und lässt sich über CLI, API und DevOps-Lösungen wie Ansible konfigurieren. Der zweite Modus basiert auf der SDN-Technik ONIE (Open Network Install Environment) und soll in Kürze verfügbar sein.

Am einfachsten lässt sich eine MX7000-Fabric im dritten Modus verwalten, den von Dell EMC entwickelten Smart-Fabric-Services. Sie bieten ein relativ einfaches Plug-and-Play-Deployment, das viele Konfigurationsschritte automatisch durchführt. So richtet Smart Fabric für alle Server-Verbindungen ein Active/Active-Multipathing, Lastverteilung und Fehlertoleranz ein. Ausgetauschte Switches erhalten automatisch die aktuellen Firmware-Versionen und werden erst nach erfolgreicher Konsistenzprüfung online gebracht. Smart Fabric erkennt zudem fehlerhafte Konfigurationen und Ausfälle und teilt dem Administrator mit, wie sich das Problem beheben lässt.

Management der MX7000-Plattform

Im Dell Solution Center in Frankfurt stand für den LANline-Test ein MX7000-Chassis zur Verfügung, das mit einem Standard-Server, einem Vier-Wege-Server, einem Storage-Modul, zwei MX5108n-Switches und zwei SAS-Switches bestückt war. Die Verwaltung erfolgt über zwei redundante Management-Module, die im Active/Pas­sive-Modus arbeiten und über dieselbe IP-Adresse erreichbar sind. Der Management-Controller ist die zentrale Steuerungsinstanz für alle Chassis-Funktionen. Wir testeten einen Ausfall des aktiven Management-Moduls, indem wir einen Fail­over auf das passive Modul durchführten. Die Übernahme der Management-Funktionen und das dann von uns initiierte Failback verliefen erfolgreich.

Als Verwaltungsoberfläche empfiehlt Dell für die MX-Plattform das kostenfreie Tool OpenManage Enterprise (OME) Modular Edition. Dabei handelt es sich um eine virtuelle Appliance auf HTML-5-Basis. Im Chassis-Management-Modul ist zudem eine abgespeckte Version von OME integriert, die für einige hardwarenahe Aufgaben wie die Konfiguration des Storage-Routings erforderlich ist. Zur Distributed-Management-Architektur der MX7000-Plattform gehören zudem ein in die Gehäusefront integriertes Touchscreen-LCD, ein KVM-Port sowie eine Wireless-Mobile-App. In Kürze soll es auch eine Integration von MX7000-Verwaltungsfunktionen in das Windows Admin Center geben.

In der OME-Oberfläche kann der Administrator Management-Gruppen für die Chassis-Verwaltung anlegen. Jede Gruppe kann bis zu 20 MX-Systeme zentral verwalten. Das Lead-Chassis einer Gruppe sorgt dafür, dass alle hier definierten Konfigurations- und Firmware-Vorgaben automatisch auf alle anderen Systeme verteilt werden. Per Templates lassen sich unter anderem BIOS- und RAID-Einstellungen sowie VLANs und QoS-Settings ausrollen. Sollte ein Lead-Chassis ausfallen, übernimmt automatisch ein anderes Chassis die Lead-Funktionen.

Die MX7000-Lösung lässt sich per Plug-in in VMware vCenter integrieren. Dies ermöglicht es, ESXi-Hosts automatisiert zu installieren. Auch mit Microsofts System-Center-Produkten SCOM, SCCM und VMM besteht eine Integration. Eine automatisierte Installation des Windows-Betriebssystems ist mit den MX7000-Bordmitteln allerdings nicht möglich. Für eine weitergehende Automatisierung mittels externer Tools stellt die MX7000-Plattform eine leistungsfähige REST-API bereit.

Benutzerrollen und Alarme

Um die Benutzerverwaltung zentral zu steuern, lässt sich die MX-Lösung in ein Active Directory integrieren. Das im Chassis integrierte Benutzer-Management stellt standardmäßig die drei Rollen Hauptadministrator, Viewer und Compute-, Fabric- oder Storage-Manager zur Verfügung. Für eine Alarmierung bei Fehlfunktionen lassen sich Benachrichtigungen zum Beispiel per E-Mail oder SNMP definieren. Ein umfassendes Performance-Monitoring ist bislang nicht integriert. Die Leistungsdaten der Server sind über die iDRAC-Oberfläche bis zu 30 Tage einsehbar. Für weitergehende Anforderungen sind Drittanbieter-Tools nötig.

Im LANline-Test nutzten wir die OME-Oberfläche, um die Konfigurationsmöglichkeiten zu untersuchen. Das Chassis-Menü stellt unter anderem die Verkabelung der LAN-Switches grafisch dar. In der Server- und Storage-Modulansicht sieht der Administrator die Frontseite der Systeme und erhält Fehler angezeigt. Unter dem Menüpunkt Chassis-Profil lässt sich ein Template erstellen, um neue Chassis automatisch zu konfigurieren. Um einem Server eine neue SAS-Festplatte zuzuweisen, öffneten wir das SAS-Switch-Menü für die Konfiguration der im Storage-Modul enthaltenen Laufwerke. Das Modul war für den Mapping-Modus konfiguriert, mit dem sich jedes einzelne Laufwerk an den gewünschten Server mappen lässt. Wir wählten eine bisher nicht zugeordnete 600-GByte-SAS-Festplatte und wiesen sie dem Vier-Wege-Server zu. Danach stand diese Platte dem Server zu Verfügung.

Der wichtigste Punkt bei der Inbetriebnahme eines neuen MX7000-Chassis ist die Konfiguration des Switch-Modus. Wie erwähnt empfiehlt sich der relativ einfach zu bedienende Smart-Fabric-Modus, wenn die Netzwerkinfrastruktur keine speziellen Anforderungen erfüllen muss. Vor der Aktivierung gilt es, die VLANs und die Topologie zu definieren. Auch die Uplinks und die hier gewünschten Breakout-Geschwindigkeiten, zum Beispiel einmal 40GbE oder viermal 10GbE, sind auf den Switches vorab festzulegen. Wenn diese Vorarbeiten erledigt sind, konfiguriert der Smart-Fabric-Modus die Fabric automatisch.

Fazit

Dell EMCs PowerEdge-MX7000-Plattform benötigt keine Midplane und ist dadurch für die Zukunft gut gerüstet. Technologie-Updates lassen sich in Form neuer Module im laufenden Betrieb integrieren. Ein weiterer Pluspunkt ist die modulare Architektur. Sie erlaubt es, die Server- und Storage-Module beliebig zu kombinieren. Der Smart-Fabric-Modus vereinfacht zudem die Netzwerkverwaltung deutlich. Das Chassis-Management unterstützt Server-Profile und Konfigurations-Templates, sodass man alle Systemkomponenten von zentraler Stelle aus verwalten kann. Eine weiterreichende Automatisierung zum Beispiel von Server-Betriebssysteminstallationen oder ein umfassendes Performance-Monitoring sind durch eine Integration mit Drittanbieter-Lösungen möglich. Dazu steht eine REST-API zur Verfügung. Preise für die MX7000-Plattform sind projektabhängig und auf Anfrage erhältlich.