Die Kühlung allen elektronischen Equipments gehört zu den wichtigsten Themen des RZ-Betriebs – leider sehr oft immer noch ohne einen hinreichend professionellen Zugang. Beim RZ-Design, aber auch im Betrieb fallen die nötigen Entscheidungen zu oft basierend auf viel zu groben Annahmen. Abhilfe verspricht eine CFD-Simulation (Computational Fluid Dynamics), wie sie Softwarespezialisten aus diesem Segment anbieten.

Da ein Betreiber eines Rechenzentrums sehr viel Geld in den Aufbau und in die zukünftige IT-Landschaft investiert, betreibt er die Planung dazu mit viel Aufwand und viel Sorgfalt. Mit welcher Präzision die Planer allerdings die verschiedenen Herausforderungen der Klimatisierung angehen, bleibt jedoch oft diskussionswürdig.

Bereits in der Gebäudeplanung fallen erste Entscheidungen über die geplante IT-Kapazität pro RZ-Raum. Dies hängt zum einen von der Größe des Raums ab und von der geplanten IT, zum anderen jedoch auch von der strukturellen Raumaufteilung (Gangplanung). Diese Kalt-/Warmgänge dienen dazu, die Luftzufuhr an den Racks mit kühler Luft zu versorgen und an den warmen Luftauslässen im „Warmgang“ gezielt abzuführen. Dabei gilt es tunlichst zu vermeiden, dass sich die warme Luft mit der Kaltluftzufuhr vermischt und somit eine höhere Eingangstemperatur für die Elektronik erzeugt.

Virtuelles Modell eines Rechenzentrums in der Planungsphase, im Bild mit 6Sigma Room Lite simuliert.

Als sehr komplex kann sich die Aufgabe erweisen, anhand architektonischer Planungsleistungen zu verstehen, ob die erzeugte Kühlkapazität auch dort ankommt, wo sie benötigt wird – nämlich am Lufteinlass des spezifischen Racks. Zur Veranschaulichung: Dies entspricht ungefähr der Frage: „An welcher Stelle sollte man auf ein Wasserbett drücken, damit es an einer anderen definierten Stelle die höchsten Wellen schlägt?“

Kompliziert wird dies im Rechenzentrum, wenn im Zuluftbereich, also zum Beispiel im Unterboden, die Rohr- und Kabelkanalverlegung gewisse Strömungswiderstände erzeugen, die die Luft in ganz andere Bereiche des Raums führt. Eine weitere Herausforderung stellen dann die gelochten Bodenplatten dar, die abhängig von Öffnungsgrad und Position auch maßgeblich für die Luftzufuhr zuständig sind. Kommt zu wenig Luft aus dem Unterboden, wird das zugeordnete Rack zu warm, entnimmt man zu viel Kühlluft durch große Öffnungen, stiehlt man die nötige Kühlkapazität anderer Racks.

Ist die Kühlluft erst einmal im Raum selbst angekommen, sorgen die Rack-internen Lüftungskonzepte für eine passende Luftansaugung. Auch dabei konkurrieren die Racks um die vorhandene Kühlluft.

Alle erwähnten Aufgabenstellungen lassen sich ohne eine frühzeitige 3D-CFD-Simulation erst korrigieren, wenn die Fakten bereits feststehen, also wenn das Rechenzentrum gebaut und die IT bestückt ist. Ein solches Vorgehen kann sich als sehr gefährlicher und auch teurer Weg erweisen.

Eine kontrollierte Luftführung sorgt für eine geringe Ausfallwahrscheinlichkeit der Elektronik. Zudem bildet ein effektiver Einsatz lokaler Kühlkapazitäten die Basis für große Energieeinsparungen bei der Klimatisierung. Nur wenige Betreiber können allerdings von sich behaupten, dass sie eine ebenso große Sorgfalt darauf verwenden, die Rechenzentren zu managen, sobald sie den Betrieb aufgenommen haben. Daher erreicht ein Großteil der Rechenzentren niemals die Kapazität, für die er ursprünglich ausgelegt war.

Modellaufbau auf Basis einer 2D-Architektenzeichnung: Um den Raum neben den baulichen Grenzen als Rechenzentrum sauber zu definieren, stehen in 6Sigma Room oder 6Sigma Room Lite viele Optionen zur Verfügung.

Dies ist vor allem dem rasanten Fortschritt der Technik geschuldet, durch den sich die betroffene Branche auszeichnet. Während der Planungsphase sind die Verantwortlichen darauf angewiesen, Vermutungen darüber anzustellen, in welche Richtung sich das IT-Equipment entwickeln wird und welche punktuellen Verlustleistungen in der Zukunft entstehen und zu kühlen sind. Diese Vermutungen sollen die ganze Lebenszeit eines Rechenzentrums abdecken. Obwohl die Prognosen auf den besten Informationen der IT-Abteilung basieren, sind diese Voraussagen meist schon veraltet, bevor das Rechenzentrum überhaupt seinen Betrieb aufnimmt.

Als ein gutes Beispiel für ein solches Vorgehen können die Blade-Server dienen: Als sie plötzlich in den Rechenzentren Einzug hielten, sorgten sie für viele unvermutete Probleme. Derartige Technikwechsel ziehen unausweichlich nach sich, dass die ursprünglich der Planung zugrunde liegenden Annahmen plötzlich nicht mehr gelten. Nicht weniger als drei solcher kompletter Technikwechsel wird ein Rechenzentrum durchlaufen müssen, das auf eine Lebensdauer von zehn bis 15 Jahren ausgelegt ist. Jeder dieser Wechsel kann einen Verlust an Kapazität nach sich ziehen, wenn er nicht sehr sorgfältig geplant und durchgeführt wird.

Die Kapazität eines Rechenzentrums gibt die Leistung des gesamten IT-Equipments an, das in dem Gebäude unterzubringen ist. Die Ingenieure, die die Datenzentren entwerfen, nutzen dazu Formeln, über die sie den Umfang zusätzlicher Kapazität für das Rechenzentrum bestimmen. Diese Redundanz erlaubt es bis zu einem gewissen Grad, das Rechenzentrum auf Veränderungen oder Ausbauwünsche anzupassen. Alle Schlüsselspezifikationen – das Layout der Schränke, die Leistungsdichte, die Netzwerkanbindungen und das Kühlungssystem – sind dann auf Basis der Kapazität berechnet. Viele Methoden für die Planung und das Erstellen solcher Prognosen gehen allerdings davon aus, dass die ungenutzte Kapazität sofort zur Verfügung steht. Doch das Problem besteht darin, dass dies für den überwiegenden Teil dieser Kapazität schlicht nicht zutrifft. Es lohnt sich daher in jedem Fall, die Methoden der 3D-CFD-Simulation und die Möglichkeiten dieser „Vorhersagemethode“ genauer unter die Lupe zu nehmen.

Jeder kennt in seinem Alltag mindestens eine Situation, in der er wie gebannt auf 3D-CFD-Simulationsergebnisse schaut: die Wetterprognose. Dennoch sollte er die Zuverlässigkeit des Wetterfrosches nicht mit einer auf High-Tech basierenden Simulationsanalyse vergleichen. Bei der Wettervorhersage gibt es nämlich viele „unkalkulierbare sowie sich zeitlich ändernde Einflüsse in einem Makrokosmos. Zudem nutzt sie als Randbedingungen der Simulation viele Annäherungen. Bei einer technischen CFD-Simulation spricht man dagegen meist von einem Mikrokosmos – eine klar definierte Betrachtung in einem für sich abgeschlossenen Raum. Dies kann in der Geräteentwicklung die Klimakammer oder in einem Rechenzentrum der Raum selbst sein.

Durch den vom Architekten beschriebenen Umriss und die geplanten Raumhöhe ist der Simulationsraum in einem solchen Fall ohne jegliche Approximation bereits unmissverständlich beschrieben. Eine passende 2D-Zeichnung lässt sich dann in ein Simulationswerkzeug (Beispiele sind 6Sigma Room oder 6Sigma Room Lite) importieren und für die Raumaufteilung im Simulationsmodell nutzen. Wie dies bei den genannten Applikationen aussieht, zeigt das Bild auf Seite 20.

Racks und IT-Equipment

Durch eine umfangreiche und permanent wachsende Bibliothek (Bild Seite 22) lässt sich sämtliche im Raum verbaute Hardware übernehmen. Sehr viele Hardwareanbieter – vom Rack-Hersteller über das IT-Equipment bis hin zu Kühlaggregaten – sind in der Bibliothek zur einfachen Drag-and-Drop-Raumbestückung aufgeführt. Dazu bietet die Simulationssoftware auch generische Modelle, die sich pauschal durch eine Verlustleistung und einen Luftdurchsatz beschreiben lassen.

Einen besonderen Service bietet der Hersteller der Software Future Facilities: Lizenznehmer können jederzeit fehlende Bibliotheksteile anfragen und diese kostenlos bei Lieferung der entsprechenden Datenblätter erstellen lassen.

Um das virtuelle Rechenzentrum in der Planungsphase zu komplettieren, stehen umfangreiche Werkzeuge zur Verfügung, etwa um den Boden inklusive Bodenhöher und Stützen zu definieren, Fenster, Rampen, Türen oder sogar Beleuchtung zu erstellen und letztendlich auch die Verkabelung und die Verrohrung im Raum laut Planung zu verlegen. Dabei lassen sich die Kabelkanäle mit teilweise offenen oder komplett geschlossenen Trägern über Eingabewerte wie Öffnungsratio der Lochbleche oder Füllstand des Kanals beschreiben. Das Simulations-Tool erkennt aus den Angaben den richtigen Luftwiderstand und kommt somit in den Vorhersagen der Luftbewegungen der späteren Realität sehr nahe. Zur Analyse von bestehenden Rechenzentren muss der Techniker ein virtuelles Basismodell um mehrere Punkte ergänzen. Dies gilt für Details wie zum Beispiel für die meist chaotisch verlegten Kabelführungen im Doppelboden, für ungeschlossene Durchbrüche im Boden und anderer Details, die über die meist jahrelange Nutzungszeit dem Rechenzentrum hinzugekommen sind.

Hardware-Bibliotheken in 6Sigma Room Lite.

Ist das Modell aufgebaut, dann kann der Techniker es gewissermaßen „virtuell anschalten“. Dies kann eine eingeschwungene Betrachtung der aktuellen Situation sein oder eine zeitliche Betrachtung von „What if“-Szenarien, um die Redundanz der Kühlsysteme zu prüfen.

Die Kühlaggregate pumpen Kühlluft in den Raum und saugen an gleicher oder anderer Stelle warme Luft ab. Es entsteht ein Kreislauf, der nach dem Simulationslauf (Multicore-Berechnung auf leistungsstarken PCs) durch virtuelle Strömungsfäden im gesamten Raum visualisierbar ist. Der Betrachter kann dann gut erkennen, ob der Unterboden den gewünschten Überdruck aufbaut und durch die Druckverteilung auch an jede wichtige Stelle des Raumes die Kühlluft presst. Über dem Boden kann er anhand der Strömungsfäden oder eingefärbter Lösungsschnitte (Temperatur, Druck oder Geschwindigkeiten) gut analysieren, welches Kühlaggregat welches Rack mit Kühlluft beliefert und welches Notszenario greift, falls es zu einem Aggregatsstillstand kommt. Liegen diese Ergebnisse erst einmal vor, ist es ein Leichtes, die Luftführung spielerisch zu optimieren und auch andere Kühlkonzepte (Einhausung der Gänge, Wandgeräte oder andere Raumaufteilungen) zu untersuchen.

Fazit

Ein 3D-CFD-Programm simuliert nicht nur die Druckverteilung im Unterboden, sondern auch die Luftbewegungen im Raum. Dies beruht auf strömungsmechanischen, von der Physik bekannten Grundsätzen und nicht auf interpolierten Vorhersagemethoden. Die 3D-Simulation hat sich in den vergangenen zehn Jahren im Bereich der RZ-Planung und der betriebsbegleitenden Änderungsprüfung durchgesetzt. Ohne einen dreidimensionalen Einblick in die Luftwege und die Druckverteilung im Raum verschenken Unternehmen bis zu 40 Prozent der geplanten Kapazität aufgrund lokaler Hotspots.

Dipl. Ing. Tobias Best ist Geschäftsführer von Alpha-Numerics ().