Wir schreiben das Jahr 2008: Das Wachstum im Datacenter-Markt ist im vollen Gange. Viele Rechenzentren aus den 90ern sind veraltet und werden umgebaut – neue Datacenter entstehen, die Leistungsdichte steigt – der Stromverbrauch allerdings auch. Vor allem Colocation, also das Bereitstellen der Datacenter-Basisinfrastruktur und Vermieten von Flächen (Racks, Cages oder ganze Räume) löste viele kleine und ineffiziente Rechnerräume ab und wurde schnell zur effizienten und günstigen Lösung für die physische Auslagerung von Firmen-IT.

Zu dieser Zeit überlegten sich Experten des Schweizer Unternehmens Riedo Networks zusammen mit Anwendern, wie sich ein optimales Monitoring für Strom und Umgebung (Temperatur, Luftfeuchte etc.) der Racks in einem Datacenter realisieren lässt, um die Effizienz zu steigern und verbrauchergerechtes Abrechnen der Stromkosten zu ermöglichen.

Intelligente Steckdosenleisten (Intelligent Power Strips, IPS auch Rack-PDU genannt) gab es zwar bereits auf dem Markt, doch hatten alle zwei signifikante Schwachpunkte: die komplizierte Installation und zusätzliche Verkabelung zur Messdatenerfassung.

Hohe Kosten vermeiden

Die Kosten für intelligente Steckdosenleisten verglichen mit passiven Modellen sind allein schon zwei bis drei Mail höher – rechnet ein Betreiber die Verkabelung mit Ethernet (oder Buskabel) und die Konfiguration hinzu, wird es schnell vier oder fünf Mal teurer als klassische Lösungen ohne Messung.

Auch andere Messsyteme, die in Schaltschränken zum Einsatz kommen, benötigen aufwändige Verdrahtungen durch einen Elektriker. Zudem sind Lastanzeigen im Rack und Messung der Umgebung mit solchen Systemen nicht möglich.

Der Data Concentrator bildet das Herzstück des Systems.

Nach diesen Betrachtungen entstand die einfache Idee, ein intelligentes und verteiltes Messsystem zu bauen, das

  • keine neuen Kabel benötigt,
  • sich per Plug-and-Play selbst konfiguriert,
  • den elektrischen Verbrauch und die Umgebung kontinuierlich misst,
  • die Effizienz der Installation überwacht und somit Optimierungen ermöglicht,
  • eine verbrauchergerechte Abrechnung vereinfacht und
  • bei Änderungen alarmiert und freie Kapazitäten aufzeigt.

Schnell verwarfen die Entwickler eine Kommunikation per Funk angesichts der faradayschen Käfige, die die Racks bekanntlich auch sind. Zudem ist die geringe Reichweite in Betonbauten ein Problem. PLC (Powerline Communication), also die Kommunikation der Daten über das vorhandene Stromnetz, galt gleich als Schlüsselkomponente, um Daten sämtlicher Messpunkte zu sammeln. Einfache Lösungen sind meist auch gute Lösungen, was jedoch laut den Entwicklern nicht heißen muss, dass diese einfach umzusetzen sind.

Keine Messung ist auch keine Lösung

Nach ersten Feldversuchen zeigte sich nämlich rasch, dass die Netzimpedanzen der Stromversorgung in Datacentern sehr unterschiedlich ausfallen und zudem zeitlich variieren. Das größte Problem stellen jedoch die Dämpfung in den Leitungen und die enorme Anzahl and Verbrauchern aus dem IT-Equipment dar. Schaltnetzteile von Servern verursachen auf der Zuleitung abhängig von Modell und Hersteller Störungen auf unterschiedlichen Frequenzen. Diese bewegen sich natürlich zwar innerhalb der Normen, doch in Anbetracht der schieren Menge resultiert daraus ein enormes Rauschen, das eine Kommunikation per PLC extrem erschwert.

Wichtige Daten lassen sich im Display des E3-Meters direkt ablesen.

Forschung und Entwicklung von über zwei Jahren sowie unzählige Feldversuche in Datacentern waren nötig, um eine Lösung für das Problem zu finden: Eine automatisch adaptive Modulation auf das 230/400V-Netz, die sich den Gegebenheiten des jeweiligen Datacenters anpasst, war dabei ein Puzzlestück zum Erfolg. Den eigens entwickelten fehlertoleranten Kommunikations-Stack passten die Entwickler über mehrere Jahre laufend an. Er bildet das Herzstück der Lösung.

Beginn in der Schweiz

Im Jahr 2010 erfolgte die erste Installation eines E3-Meter-Systems, das bis 2013 ausschließlich in der Schweiz auf dem Markt war. E3-Meter ist die Abkürzung für „Energy, Environment und Efficiency Meter“. Die erste größere Installation mit mehr als 200 Messpunkten fand in dieser Zeitspanne bei der ETH Zürich statt, die in Lugano das Schweizer Supercomputing Center (www.cscs.ch) und den zur Zeit drittschnellsten Rechner der Welt betreibt. Seit 2014 ist die weltweit erste PLC-fähige Monitoring Lösung für Datacenter international auf dem Markt.

Das E3-Meter-System besteht aus drei Hauptkomponenten: dem Metering-Modul, dem Data Concentrator und der zugehörigen Monitoring-Software. Das Metering-Modul zeichnet sich durch seine geringe Größe aus und passt in Aluprofile von lediglich 44 × 44 mm. Dies ermöglicht schlanke Steckdosenleisten, die in jedem Rack Platz finden und dennoch bis zu drei Mal 32 A Zuleitung und besonders viele Dosen und Sicherungselemente fassen.

Die duale Kommunikationsmöglichkeit über PLC sowie über Ethernet eröffnet flexible Einsatzszenarien. Der Betreiber des Datacenters kann zum Beispiel via PLC über verschlüsselten Datentransfer die Messdaten sämtlicher Steckdosenleisten ohne zusätzliche Verkabelung periodisch abfragen und auswerten. Gleichzeitig hat sein Kunde oder interner Bezieher Zugriff auf die lokale Netzwerkschnittstelle und kann seinen Verbrauch oder Temperatur/Luftfeuchte im Rack selbst auslesen und überprüfen. Dies ist vor allem für Colocation-Anbieter eine praktische Lösung.

Die kWh-Zählerstände im FRAM-Speicher sind dabei manipulationsgeschützt und nicht rückstellbar, sodass die Richtigkeit der Messung jederzeit gewährleistet ist. Für sie gilt eine garantierte Genauigkeit von 0,5 Prozent, was unter der gesetzlichen Toleranz von einem Prozent liegt.

Über zwei zusätzliche RJ12-Anschlüsse lassen sich externe Temperatur- oder Kombisensoren (T/RH) angeschließen. Sensoren der E3-Meter-Familie sind sehr kompakt und verfügen über eingebaute Magnete, um die Fixierung im Rack zu erleichtern. Das industrietaugliche Zwei-Zoll-Farb-TFT Display ist drehbar und dient zum Ablesen sämtlicher Messwerte und Parameter auch vor Ort.

Der Data Concentrator bildet das zentrale Element des Systems und registriert per Plug-and-Play sämtliche Meter-Messdaten (Steckdosenleisten, CEE-Messboxen etc), konfiguriert diese und sammelt Messdaten über PLC ein. An dieser Stelle sind auch die Namen (Device Label) konfiguriert, die der Benutzer den Metern zuordnet. Diese Bezeichnungen sendet das System automatisch an die jeweiligen Messpunkten. Sie erscheinen auf dem jeweiligen TFT-Display in der Titelzeile, was die Inventarisierung vereinfacht.

Blick ins Innere des E3-Meters.

Um das Firmware-Update der Steckdosenleisten muss sich der Betreiber nicht kümmern: Erscheint ein Update für den Concentrator, sind darin alle nötigen Firmware-Dateien der Meter enthalten. Ein Upgrade des Concentrators bewirkt ein selbstständiges Update der Steckdosenleisten, sofern diese Option aktiviert ist. Die 1HE-19-Zoll-Appliance synchronisiert auch die Uhrzeit aller Meter auf Basis von NTP.

Rohdaten, die der Data Concentrator sammelt und auswertet, stehen via SNMP zentral mittels einer klar strukturierten MIB zur Verfügung. Die Anbindung an übergeordnete DCIM-Systeme vereinfacht dies drastisch. Weitere Schnittstellen sind: SMTP (für E-Mail), SNMP Trap (für das Absenden von Alarmen), FTP(S) (für den Transfer von Reports und Backup) und REST (für die Programmierung). Der interne Speicher in der Grundausstattung ermöglicht eine Verwaltung von bis zu 400 Metern und eine Datenaufzeichnung von fünf Jahren.

Die Monitoring-Software ist auf jedem Data Concentrator vorinstalliert und erlaubt durch eine intuitive Bedienung per Web-Browser das einfache Überwachen, Auswerten und Alarmieren von Energie und Umgebung. Steckdosenleisten oder andere Meter kann sie in Klassen und Gruppen zusammenfassen. Die synchrone Datenaufzeichnung sorgt für die Berücksichtigung der eingestellten Messperiode und ermöglicht somit akkurates Reporting von einer kurzen Aufzeichnung bis hin zu mehreren Jahren. Das Frontend baut auf moderne Web-Technik und ist für den Einsatz auf Desktops und Tablets optimiert. Mit ihm kann der Betrachter zum Beispiel im Histogramm (Messkurve) mittels Mausrad oder Touch navigieren, scrollen und zoomen. Ist ein Ereignis in der Messkurve von Interesse, lässt sich darauf mit einem Klick ein Marker platzieren, um Details anzuzeigen.

Die Phasenlage der Stromversorgung erscheint neben dem Histogramm und fungiert gleichzeitig als Selektor, falls der Techniker nur eine bestimmte Phase des Strompfads verfolgen will. Manuelles Reporting ist mit drei Klicks direkt in der Hauptnavigation möglich: Selektion der Gruppe, Auswahl der Zeitperiode und ein Klick auf Druckersymbol sorgen für das Erstellen des Dokuments im PDF- oder CSV-Format. Automatisierte Reports kann das System täglich, wöchentlich, monatlich, quartalsweise oder jährlich per E-Mail zustellen oder via FTP(S) auf externe Datenablagen speichern.

Die Konfiguration der Schwellwerte für Strom, Temperatur, Luftfeuchte etc. erfolgt durch das Anklicken der jeweiligen Anzeige. Durch das Selektieren einer Gruppe oder mehrerer Meter lassen sich die Werte in einem Durchgang zuweisen. Alarme gehen als SNMP Trap heraus (zum Beispiel an zentrale Leitsysteme) oder als E-Mail.

Adrian Riedo ist Gründer und Geschäftsführer von Riedo Networks in Fribourg in der Schweiz ().