Hochleistungs-Server optimal kühlen
Spitzenleistungen auf kleinstem Raum
Schon ein durchschnittlich genutztes Rechenzentrum hat zu Spitzenzeiten Mühe, für eine ausreichende Klimatisierung des Equipments zu sorgen. High Performance Computing - Hochleistungsrechnen - fordert Server-Systemen über Tage oder sogar Wochen Volllast ab, entsprechend hoch ist auch die Anforderung an die Klimatisierung. Mittlerweile ist jedoch durch Entwicklungen wie Rack-basierende Module und indirekte freie Kühlung auch die Königsdisziplin der Klimatisierung zuverlässig und energieeffizient beherrschbar.In Abwandlung eines alten Börsensprichworts kann es bei Leistung und Effizienz eines Rechenzentrums nur eine Maxime geben: Mehr! High Performance Computing (HPC) verkörpert dieses Prinzip in Reinstform. Und durch Big Data hat die bisher gültige Dynamik der regelmäßigen Verdopplung von angebotener und abgerufener Rechenleistung einen weiteren Schub bekommen. Firmen nutzen ihre gesammelten Datenbestände, um Entwicklungen, Trends und Wünsche ihrer Kunden besser erkennen zu können. Universitäten führen komplizierte Simulationen und Auswertungen durch. Die Rechenleistung für diese Auswertung erbringen häufig spezialisierte Server-Systeme und Anwendungen, deren Leistungsansprüche noch vor wenigen Jahren unvorstellbar waren. Typische Lastprofile bei HPC Anders als bei klassischen Back-Office Anwendungen müssen Server und deren Prozessoren bei der Verarbeitung großer Datenmengen höchsten Anforderungen gerecht werden. Aufträge wie Big-Data-Analysen oder rechenintensive Simulationen fahren die CPU-Auslastung über lange Zeitspannen auf das Maximum, während Standard-IT-Anwendungen viel dynamischer zwischen unterschiedlichen Lastebenen hin und her schwanken. Zusätzlich setzt HPC stark auf Parallelisierung. Nicht selten arbeiten ganze Batterien von Server-Schränken gleichzeitig und dauerhaft an einem Auftrag. Dementsprechend hoch sind die Anforderungen an die Netzteile der Server. Durch die Konzentration auf kleinstem Raum sind extrem hohe Leistungen in die Server-Schränke zu führen und in Form von Abwärme wieder heraus zu transportieren. Eine Studie des Partnership for Advanced Computing in Europe (PRACE) ergab, dass das Equipment in den Server-Schränken für HPC-Anwendungen nicht selten 30 Kilowatt verbraucht, oft auf einer Fläche von weniger als einem Quadratmeter. Hohe Leistungen am Rack stellen auch die Verkabelung und Stromverteilung vor Herausforderungen. Mit normalen Steckdosen sind die Leistungen nicht mehr zu bewältigen, dazu sind Komponenten nötig, die drei Phasen mit 32 Ampere in den Schränken verteilen können. Zudem muss man die Last auf den Phasen sehr sorgfältig ausbalancieren. Wird eine Phase im Vergleich zu den anderen über Gebühr beansprucht, geht die Redundanz verloren. Keine Kollision von Verkabelung und Luftführung Verschiedene Entwicklungen adressieren den ständig steigenden Hunger nach Rechenleistung von HPC-Anwendungen und stellen dabei auch etablierte Eckdaten wie Größe und Aufbau der Racks infrage. Das Open Compute Project, in dem sich Facebook stark engagiert, verzichtet beispielsweise auf das klassische Gehäuse von Servern und nutzt Module mit 21 Zoll Breite. Die größere Fläche wird genutzt, um die Server thermisch besser zu designen. Das Außenmaß der Schränke bleibt dennoch identisch mit dem von 19-Zoll-Racks, sodass im Rechenzentrum kein zusätzlicher Platz einzuplanen ist. Mittelfristig stellt sich die Frage, ob 600 Millimeter breite Schränke reichen werden, da bereits jetzt Verkabelung und Luftführung miteinander kollidieren. Derzeit ist eine sehr sorgfältige Planung im Vorfeld notwendig. Wichtig ist, wie die Verkabelung in den Schrank hinein gelangt und wie die Versorgungsleitungen die Server selbst erreichen. Alle Kabellängen sollten auf ein absolutes Minimum reduziert und die Verlegung der Leitungen mit Rücksicht auf die Luftführung erfolgen. Die starke Zunahme von HPC-Anwendungen sehen einige Experten bereits mit Sorge. In den USA hat eine Arbeitsgruppe des Energieministeriums ihre Besorgnis über den schnell wachsenden Anteil von HPC-Rechenzentren geäußert, weil deren Strombedarf so exorbitant hoch ist. Dazu passend vertreten Forscher des Lawrence Berkeley National Laboratory (LBL) in einer Untersuchung die Auffassung, dass sich der Fokus von den Gesamtbetriebskosten bei HPC-Rechenzentren hin zu höherer Energieeffizienz verschoben hat. Die Stromversorgung stellt ihrer Ansicht nach zurzeit den größten limitierenden Faktor bei HPC-Rechenzentren dar. Zudem ist praktisch kein Aspekt enger mit der Leistungsaufnahme und Abwärme eines Server-Schranks verknüpft als die Klimatisierung. Bei HPC-Systemen muss die Wärmeabfuhr so dimensioniert sein, dass sie über lange Zeit Volllast handhaben kann. Die Kühlungssysteme wirken dadurch massiv auf Verfügbarkeit, Kosten und CO2-Produktion bei HPC ein. Die Klimatisierung und die Infrastruktur müssen sehr effizient und leistungsfähig sein. Der Verfügbarkeit kommt bei HPC eine besondere Rolle zu. Sie ist im Gegensatz zur klassischen IT eher auf Cluster-Ebene ausgelegt. Es ist wichtig, dass anstehende Jobs jederzeit abgearbeitet werden können, doch es kommt durch die Parallelisierung weniger auf einzelne Systeme an. Darum sind HPC-Rechenzentren meist in einer einfach redundanten Infrastruktur realisiert, bei der die Hauptverfügbarkeit eher auf den Applikationen lastet und mit einer Vielzahl von Servern realisiert ist. Durch die extrem hohen Energiedichten in den Server-Schränken stoßen klassische Doppelbodenkonstrukte zum Transport der kalten Luft schnell an ihre Grenzen. Um die Schränke adäquat zu kühlen, müssten die Böden extrem hoch sein. Das verfügbare Volumen ist sonst schlichtweg nicht ausreichend für die benötigte Luftmenge. Zudem muss sich die Kaltluft den Platz gegebenenfalls mit Kabeltrassen und anderen Hindernissen teilen. Daher nutzen aktuelle HPC-Rechenzentren die Klimatisierung an den Racks, die so genannte Rack-basierende Kühlung, als wirtschaftlich und technisch sinnvolle Lösung. Entscheidend ist es, die Kühlkapazität möglichst nah an den Ort der Wärmeerzeugung zu bringen. Dabei haben Rack-basierende Kühlsysteme wie die LCP-Familie (Liquid Cooling Package) von Rittal die Nase vorn. So nutzt der Supercomputer "Mogon" der Johannes Gutenberg-Universität Mainz LCP-Systeme, um 44 kW thermische Last pro Rack abzuführen. Das komplette System ist geschottet, die heiße Luft gelangt nicht in den normalen Luftkreislauf, sondern wird direkt an der Rückseite der Server vom LCP angesaugt, über den Wärmetauscher gekühlt und an der Vorderseite wieder eingeblasen. Dabei kommt eine typische Besonderheit von HPC-Rechenzentren zum Tragen: Die LCPs müssen blitzschnell reagieren und ihre Leistung liefern können, bei Mogon fällt innerhalb von 40 Sekunden die volle Abwärme an, wenn ein Rechenjob startet. Energieeffiziente Hochleistungsklimatisierung ohne Lüfter Mittlerweile ist die Luftführung in den Server-Systemen mit integrierten Hochleistungslüftern sehr effizient realisiert. Unter gewöhnlichen Bedingungen sind dadurch keine weiteren Lüfter für die Klimatisierung notwendig. Bis zu etwa 30 kW reichen passive Rücktüren in den Schränken aus, da die leistungsstarken Lüfter der Bladeserver genügend Luftvolumen in die Wärmetauscher drücken. Für höchste Leistungsanforderungen führt allerdings kein Weg an den Rack-basierenden Systemen vorbei. Verlangt die Anwendung noch mehr Leistung oder erhöhte Redundanz, können sich Rack-basierende Kühlsysteme auch gegenseitig unterstützen. Wenn die Module im Wechsel mit den Server-Schränken aufgebaut sind, blasen sie die Kaltluft an der Front in beide Richtungen aus und versorgen die Server-Schränke so jeweils von zwei Seiten. Spielt Redundanz eine große Rolle, sollten die Kühlmodule im Wechsel an zwei verschiedenen Wasserkreisläufen angeschlossen sein. Filtern und befeuchten Die Kühlung und Aufbereitung des Wassers für die Wärmetauscher der Rack-basierenden Kühlsysteme geschieht meist zentral. Immer häufiger kommt in mittel- und nordeuropäischen Breiten indirekte freie Kühlung zur Kaltwasseraufbereitung zum Einsatz. In heutigen Systemen kann die Freikühlgrenztemperatur durchaus bis auf 1,5 Kelvin an die gewünschte Wasservorlauftemperatur heranreichen. Erst wenn dieser Wert überschritten ist, macht dies einen deutlich kostenintensiveren Einsatz von Chiller-Systemen nötig. Weil die zulässigen Server-Zulufttemperaturen durch ASHRAE 3 auf bis zu 27 °C angehoben wurden, sind Wasservorlauftemperaturen von 20 °C keine Seltenheit mehr. Die kostengünstige Freikühlzeit hat sich im Gegensatz zu sechs Grad Vorlauftemperatur vor fünf Jahren deutlich verlängert. Damit lassen sich selbst HPC-Systeme energieeffizient betreiben. Im Trend: Abwärme zum Heizen nutzen Die große Menge an Abwärme, die hoch genutzte HPC-Rechenzentren produzieren, kann auch ein Segen sein. Vor allem bei Neubauten achten die Betreiner immer öfter darauf, das entstehende warme Wasser in die Gebäudetechnik zu integrieren. So heizen die Server indirekt die Büroräume der Mitarbeiter oder sogar angrenzende Gebäudekomplexe. In einem Universitätscampus in den USA hält Warmwasser aus dem Rechenzentrum die Wege auf dem Gelände schnee- und eisfrei. Solche, wenn auch sinnvollen, Zusatzfunktionen lassen sich jedoch kaum nachrüsten und sind bei bestehenden Anlagen in der Regel nicht machbar.
Lesen Sie mehr zum Thema
