Smarte Optimierung der Stromverteilung im RZ
Monitoring im Großen und Kleinen
Wie würde eine Optimierungstour durch ein Rechenzentrum aussehen? Dazu gehören in jedem Fall Betrachtungen der Stromverteilung auf den verschiedenen Ebenen und gegebenenfalls Verbesserungen in diesem Umfeld. Parallel behandelt dieser Beitrag eine ergänzende Monitoring-Lösung, die auf einer Funktechnik basiert. Sie soll nicht nur die Stromverteilung noch sicherer und zuverlässiger gestalten, sondern im Hinblick auf Energieeffizienz das RZ als Gesamtheit effizienter machen.
Die Tour beginnt auf der räumlichen Verteilungsebene: Ganz konventionell gelangt der Strom dort meist über eine redundant ausgelegte A- und B-Einspeisung und entsprechende PDU-Kabel durch den Doppelboden hindurch bis an die Racks. Je höher die Zahl der zu elektrifizierenden Racks ist und desto höhere Anforderungen an Redundanz gelten, umso mehr Kabel muss ein Installateur im Doppelboden einziehen. Durch Erweiterungen der RZ-Infrastruktur wächst so die Zahl der Stromkabel immer mehr, die dann zusammen mit Datenkabeln und weiteren Versorgungsleitungen oft einen unübersichtlichen Verkabelungs- und Verrohrungsdschungel bilden. Die Dichte dieses Dschungels nimmt beständig weiter zu - und damit seine Komplexität und die Vielfalt der damit einhergehenden Probleme:
Die zunehmende Dichte und Komplexität der Verkabelungsinfrastruktur stellt Elektriker bei der Herstellung von neuen Stromabzweigungen vor echte Herausforderungen,
- die Unübersichtlichkeit im Doppelboden erschwert Konfigurations- und Wartungsarbeiten an der Verkabelung, provoziert "Verdrahtungsfehler" und kann so auch zu einem Risiko für den störungs- und unterbrechungsfreien Betrieb werden, und
- die Kabelbündel türmen sich zu einer massiven Barriere für die durch den Doppelboden strömende konditionierte Luft auf und erschweren eine angemessene Kühlung der aktiven Hardware in den Racks.
Wie lassen sich solche Problemstellen verhindern? Wenn Rechenzentrumsbetreiber ohnehin planen, ihre Infrastruktur um neue Räume oder sogar Gebäude zu erweitern, dann fällt die Antwort ganz einfach aus: Von Anfang an sollte dann die Verteilungsinfrastruktur aus den Niederungen des Doppelbodens heraus an die Decke gebracht und auf Schienen gesetzt werden. Für Räume bei Rechenzentren im Bestand empfiehlt es sich hingegen, die Möglichkeit zu prüfen, ob sich nicht zumindest Teile der Versorgungsinfrastruktur im Doppelboden per Trassierung oder Deckentragsystem in eine Über-Kopf-Infrastruktur überführen lassen. Zusätzlich sollte für künftige räumliche Erweiterungen im Pflichtenheft stehen, Stromschienenverteiler als Alternative zu PDU-Kabeln genauer in Betracht zu ziehen.
Dadurch, dass die Stromverteilung per Schiene von der Decke herab zu den Racks erfolgt, entfallen die dicken Kabelbündel im Doppelboden und bilden für die Kühlluft keine Strömungshindernisse mehr. Die Stromschiene läuft einfach entlang des Rack-Korridors. Über jedem Rack kann der Betreiber Stromabzweigungen mittels eines einfachen Abgangskastens bereitstellen. Zur Elektrifizierung verwendet er entweder ein normales Drop-Kabel oder ein 16- oder 32-Ampere-Anschlusskabel, das im Rack wiederum mit einer PDU-Stromleiste zu verbinden ist. Redundanz lässt sich einfach über eine zusätzliche Stromschiene herstellen, die parallel zur Hauptschiene verläuft.
Gilt es dann, ein neues Rack einzubinden, können Fachleute die benötigte Stromabzweigung mit nur wenigen Handgriffen und in Sekundenschnelle einrichten. Die Schritte bestehen lediglich aus dem Einsetzen des Abgangskastens in die Schiene, dann zum Kraftschluss den Leiter um 90 Grad zu drehen und letztlich per Klemmmechanismus werkzeugfrei zu arretieren.
Schiene schlägt Kabel
Beim Vergleich von kabelgebundenen Verteilungssystem mit Stromschienen ist zunächst augenfällig, dass man bei Kabellösungen an feste Abzweigmarken gebunden ist. Zur Herstellung neuer Stromabzweigungen muss der Installateur im Doppelboden "Strippen ziehen", und dazu muss er Downtime einplanen, oft mit einem Vorlauf von mehreren Wochen. Das Verlegen, Anschließen und Überprüfen der Leitungen sowie das Wiederanfahren der Systeme kann einige Stunden dauern. Und danach gilt: Was einmal liegt, das liegt - denn rückbauen oder an anderer Stelle wiederverwenden lässt sich eine Stromabzweigung per Kabel nicht. Ganz anders schaut es da bei der Verwendung von Stromschienen aus: Genauso schnell, wie Abgangskästen eingesetzt und betriebsbereit sind, lassen sie sich auch aus der Schiene entfernen und überall erneut montieren und zur Verteilung nutzen. Im Gegensatz zu kabelgebundenen Systemen gibt es ferner keine festen Marker für Stromabzweigungen. Daher lassen sich diese entlang des gesamten Schienenstranges und an jeder beliebigen Position einrichten.
Auch bei den Themen Routinewartungen und Sichtprüfungen können die Schienen punkten: Stromschienen, Abgangskästen, Drop-Kabel und Einspeisungen befinden sich über den Racks in Sichthöhe und sind für einen Zugriff einfach zu erreichen. Kontrollen und Wartungsarbeiten bei den Kabellösungen hingegen bedeuten den Abstieg in den Doppelboden. Bei Stromschienenverteilern in Abgangskästen, an den Endeinspeisungen oder in die in die Racks reichenden Anschlusskabel kann der Betreiber zudem Funkmessmodule zur Erfassung und Analyse der vitalen Stromparameter sowie zur effizienteren Lastverteilung und Stromnutzung integrieren.
Verteilungsebene Rack
Die Optimierungstour führt nun weiter zur Verteilungsebene der PDU-Stromleisten. In der Regel kommen pro Rack zwei Stromleisten zum Einsatz, die über einen getrennten A- und B-Stromstrang gespeist werden. Entsprechend ist ein Anschluss der IT-Geräte im Rack auf der A- und B-Stromleiste realisiert. Damit entsteht auch auf der Rack-Ebene Redundanz bei der Stromversorgung. Empfehlenswert sind an dieser Stelle nach Möglichkeit intelligente Stromleisten, die die folgenden Funktionen bieten:
- standardmäßige Messung des Gesamtstroms auf der Leiste,
- Überwachung der Stromversorgung für einzelne Ports oder Port-Gruppen,
- automatische Alarmierungen, wenn kritische Versorgungssituationen auftreten und
- sequenzielle Neustarts aus der Ferne, um Lastspitzen zu vermeiden.
Zum Einsatz in vielen Bestandsrechenzentren kommen allerdings unverändert vorwiegend sogenannte "Basic Rack-PDUs", die keine Überwachungsfunktionen bieten, nicht schaltbar sind und über keine Messintelligenz verfügen. Wirtschaftlich sowie vom Arbeits- und Konfigurationsaufwand her betrachtet, ergibt es natürlich nur selten Sinn, schlagartig gleich alle "dummen" PDU-Stromleisten gegen intelligente auszutauschen. Allerdings ist Messintelligenz dringend dort erforderlich, wo unternehmenskritische Hardware über "dumme" PDUs mit Strom versorgt wird, um etwa sich ankündigende Systemstörungen rechtzeitig erfassen und proaktiv abstellen zu können, bevor es zu einer unerwarteten Downtime kommt.
In diesem Umfeld empfiehlt es sich, "dumme" Stromleisten durch eine kluge Nachrüstlösung zu Intelligenz zu verhelfen. Dazu tauscht der Betreiber einfach das bestehende Stromkabel einer Stromleiste gegen ein Kabel aus, in das bereits ein Funkmessmodul integriert ist. Der Clou: Die Messeinheit konfiguriert sich komplett selbsttätig, nimmt automatisch die Messung auf und sendet über ein dediziertes Funknetzwerk die Daten zur Stromnutzung selbstständig an ein systemeigenes Gateway.
Dieses stellt wiederum die über Funk erhaltenen Daten per SNMP oder Modbus TCP/IP über ein eigenes Management-Tool oder jede beliebige DCIM- oder BMS-Anwendung zur Verfügung.
Mit dieser Technik haben Systembetreuer im einfachen Nachrüstverfahren ein wirksames Werkzeug an der Hand, mit dessen Hilfe sie Stromparameter permanent monitoren, Schwellenwerte definieren und bei auffälligen Versorgungswerten Warnmeldungen erhalten, um Systemstörungen oder -ausfällen effektiv vorbeugen zu können. In dieses Monitoring-System sind auch die schon bei den Stromschienen erwähnten Funkmessmodule für die Endeinspeisungen und Abzweigungen einzubinden. Kommen weitere Stromleisten hinzu oder sollen alte sukzessive erneuert werden, bietet sich als eleganteste Lösung an, Stromleisten zu beschaffen, bei denen ein entsprechendes Funkmessmodul schon ab Werk im Gehäuse integriert ist.
Die nächste Schwachstelle bei der Verteilung sind Server oder Netzwerk-Switches, die von Haus aus nur mit einem Netzanschluss ausgestattet sind. Allein wegen dieser Bauart ist bei diesen Geräten eine redundant ausgelegte Stromversorgung schwierig zu verwirklichen. Obwohl dies tatsächlich nichts Gutes für den Ausfallschutz bedeutet, lassen sich solche Geräte unerwartet häufig und besonders in historisch gewachsenen IT-Umgebungen antreffen, und nicht selten laufen darüber hochsensible Daten. Solche Komponenten sollte ein Betreiber schnellstens und ohne Wenn und Aber mit einer redundanten Stromversorgung nachrüsten.
Genau zu diesem Zweck bietet der Markt sogenannte Micro Automatic Transfer Switches (ATS). Dabei handelt es sich um äußerst kompakte Transferschalter, die direkt oder über einen kurzen Kabelrüssel am einzigen Netzanschluss des IT-Geräts aufgesteckt werden und über zwei abgehende Kabel eine Verbindung zu einem A- und B-Stromversorgungspfad herstellen. Treten Spannungsschwankungen auf oder kommt zu einem Ausfall des primären Pfades, dann schaltet der Transfer-Switch automatisch und innerhalb weniger Millisekunden auf den B-Stromkreis um. Dieser führt dann die komplette Versorgung des angeschlossenen IT-Geräts so lange aus, bis der A-Stromkreis wieder bereit für die Übernahme der vollen Last ist.
In der RZ-Branche sind Transfer-Switches hinlänglich bekannt, aber eher als Systeme für komplette Racks und dann als Ausführungen mit acht, 16 oder mehr Ports. Diese Geräte mit vielen Anschlüssen haben den Nachteil, dass sie im Vergleich zu einem Micro Transfer Switch, der bis zu drei Geräte mit Redundanz nachrüsten kann und dabei keine Höheneinheiten (HE) im Rack beansprucht, meist zwei oder sogar noch mehr HE im Schrank belegen. Auch stellt der gebotene Port-Überschuss keinen Vorteil dar, weil sich in der Anwendungspraxis fast nie acht oder sogar mehr Geräte in einem Rack befinden, die nachträglich mit Redundanz bei der Stromversorgung auszustatten sind.
Leistungsreserven für etwaige Erweiterungen sind in diesem Umfeld grundsätzlich nicht nötig, da - hoffentlich - jede neu anzuschaffende Hardware bereits über eine redundant ausgelegte Stromversorgung verfügt. Aus diesen Gründen ist ein Micro Automatic Transfer Switch, der exakt nach Bedarf den redundanten Ausfallschutz für ein Gerät oder für bis zu maximal drei Komponenten bietet, das Mittel der Wahl.
Um den Ausfallschutz auf Geräteebene zusätzlich zu erhöhen, kann ein Betreiber produktive Hardware natürlich auch individuell monitoren. Dazu ersetzt er das ursprüngliche Stromanschlusskabel eines IT-Geräts einfach durch ein Kabel mit einem Funkmessmodul, das sich in das Verteilungsebenen übergreifende Funk-Monitoring-Netzwerk einbucht. Die vitalen Stromwerte der Komponente lassen sich dann entweder lokal über ein im Modul integrierte Anzeige oder aus der Ferne mithilfe eines dedizierten GUIs oder eines via SNMP oder Modbus TCP/IP ansprechbaren Management-Tools von Drittherstellern ablesen.
Effiziente Stromnutzung
Nach einer ersten Optimierung auf den verschiedenen Verteilungsebenen lohnt sich ein Blick darauf, wie die Stromnutzung im Rechenzentrum insgesamt effizienter gelingen kann - und zwar funktional, energetisch und wirtschaftlich. Einfluss haben die folgenden Faktoren:
- Funktional effizient ist die Stromverteilung nur, wenn sie unterbrechungsfrei läuft,
- bei sich andeutenden Problemen bei der Stromversorgung soll eine Warnung erfolgen,
- ein Alarm ist nötig, wenn kritische Umgebungsbedingungen entstehen,
- Lasten müssen optimal auf die Racks verteilt sein,
- vorhandene Energieeinsparpotenziale sollten ermittelt und genutzt werden, und
- dazu sind Kennwerte für Strom und Umgebung nötig, die immer wieder zu analysieren und zu evaluieren sind.
Nach wie vor besteht die höchste Hürde darin, dass in vielen Rechenzentren keine Kennzahlen zur Stromnutzung bekannt und verfügbar sind. Dafür gibt es meist zwei Gründe. Noch vor einiger Zeit ließ sich ganz sicher sagen, dass Facility-Management- und RZ-Experten zu wenig miteinander reden. Die vorherrschende Denkweise bei vielen RZ-Profis war: So lange die Stromkosten auf das Budget vom Facility-Management gehen, sind mir die Stromnutzung und die damit verbundenen Kosten gleichgültig. Mittlerweile geht der Trend jedoch eindeutig dahin, dass beide Fraktionen aufgrund von Kostendruck und Effizienzvorgaben zunehmend gemeinsam arbeiten. Ungleich schwerer wiegt somit der zweite Grund: Es liegen oft keine Kennzahlen vor - ganz einfach deshalb nicht, weil in vielen Rechenzentren noch immer keine Messungen erfolgen.
Wichtig bei den zwingend notwendigen Messungen ist es jedoch, die Stromwerte ganzheitlich zu erfassen und sie von der Gebäude- oder Raumebene bis hinunter zur Geräteebene zu differenzieren. Da sich Umgebungsbedingungen ebenfalls unmittelbar auf die Sicherheit und Effizienz bei der Stromverteilung auswirken, sollten zumindest auch Temperatur- und Feuchtewerte auf Raum- und Rack-Ebene bekannt sein. Und um die Risiken einzudämmen, die eine Flüssigkeitsleckage im Rechenzentrum mit sich bringen kann, ist es dringend angeraten, ein entsprechendes Detektions- und Frühwarnsystem zu errichten.
Nach der Entscheidung was gemessen werden soll, gilt es, zu untersuchen, womit man am besten misst und wie man die gewonnenen Daten am besten übersichtlich darstellt. Werkzeuge für das Monitoring gibt es viele, und es würde den Rahmen dieses Artikels sprengen, hier einen ernstzunehmenden Vergleich sämtlicher gängigen Lösungen am Markt anzustellen. Aber es kann bereits erhellend sein, zumindest einen kurzen Blick auf die Vor- und Nachteile der unterschiedlichen Verbindungs- und Kommunikationspfade zu richten, die die verschiedenen Systeme nutzen.
Bei Monitoring-Werkzeugen am häufigsten zum Einsatz kommt eine serielle Verkabelung, über die die einzelnen Messmodule eines Systems miteinander verbunden sind. Aufgefädelt sind die Messeinheiten dabei im Daisy-Chain-Verfahren und über linear verlaufende Strecken installiert. Limitiert sind solche Systeme im Hinblick auf Distanzen und die Anzahl der einzubindenden Module, weil sich die "Gänseblümchenkette" nicht unendlich weit verlängern lässt.
Als Problem erweist sich bei diesen eher simpel designten Systemen bisweilen zudem, dass, wenn sich ein Modul verabschiedet, bei den weiteren Modulen ebenfalls wie bei einer einfachen Lichterkette die LEDs ausgehen. Je mehr Racks in einer Umgebung stehen, umso aufwändiger fallen die nötigen Installations-, Verkabelungs- und Einrichtungsarbeiten aus. Darüber hinaus fällt für die Systembetreuer noch weitere Arbeit an, denn sie müssen in ihre Arbeitsroutinen regelmäßige Sichtprüfungen integrieren, um sicherzustellen, dass sie gelöste Kabelverbindungen innerhalb der Modulkette schnell wiederherstellen können.
Einfacher aufzusetzen und besser handzuhaben sind hingegen Monitoring-Systeme, die sich auf eine Bustechnik stützen. Die Racks sind dabei mit Schienen ausgestattet, in die sich passende Messsensoren ohne Verkabelungsaufwand einsetzen lassen. Zusätzliche Module kann der Betreiber jederzeit über die Busschiene hinzufügen, so lange Platz vorhanden ist. Zur Systemverwaltung ist in der Regel keine zusätzliche Kommunikationsverkabelung nötig. Eine Schwachstelle ist es jedoch, dass die Messmodule stets den Kontakt zur Schiene benötigen. Ist keine Schiene vorhanden, dann lassen sich Module auch nicht mehr ganz einfach installieren, also etwa außerhalb von Racks oder frei im Raum. Erforderlich ist dann ein anderes Modul, eine zusätzliche externe Verkabelung und gegebenenfalls eine besondere Haltevorrichtung zur Platzierung und Anbringung.
Ohne Limits via IP?
Ein kurzer Blick soll den Monitoring-Lösungen gelten, deren Module untereinander seriell verkabelt sind, die zudem jedoch auch eine Einbindung in ein Netzwerk per TCP/IP ermöglichen. Derartige Lösungen bieten den Vorteil, sich einfach einrichten und auch aus der Ferne verwalten zu lassen sowie von der Zahl der Messmodule her nicht limitiert zu sein. Ein Nachteil besteht indes darin, dass jedes einzelne Monitoring-Modul eine eigene IP-Adresse tragen muss. Dies bringt letztlich ebenfalls mehr Administrations- und Konfigurationsaufwand sowie höhere Kosten mit sich.
Eine interessante Alternative zu den nur kurz skizzierten Lösungen und Pfaden bietet das Monitoring per Funk. Das über Daxten erhältliche System namens Packet Power basiert auf einer Funktechnik, die für das Datacenter-Monitoring optimiert worden ist und dynamisch Frequenzen im Bereich zwischen 860 und 930 MHz nutzt. Funkmessmodule zur Erfassung von Temperatur, Feuchte und Differenzdruck lassen sich im und am Rack sowie frei im Raum platzieren. Über die gleichen Funkmodule lassen sich zudem Sensoreinheiten integrieren, die von Wasserleckagen bedrohte Areale im Rechenzentrum überwachen können. Die Verbindung der Module untereinander erfolgt nicht über Kabelstrecken, sondern die Module bilden kabelfrei ein vermaschtes Funknetzwerk. Sofort nach dem Einschalten konfigurieren sich diese Funkmessmodule komplett selbsttätig, nehmen ihre Messtätigkeit auf und buchen sich zur Datenübermittlung automatisch in das Netzwerk ein.
Lesen Sie mehr zum Thema
