Kühlung von Rechenzentren
Die Rechenzentren (RZ) in Deutschland haben in 2016 12,4 Milliarden kWh Strom verbraucht [1]. Das sind etwa 14 % mehr, als ein 1 300 MW Block eines AKW zur Verfügung stellen kann. Die Stromkosten beliefen sich dabei auf rund 1,8 Milliarden Euro. Etwa ein Viertel davon entfällt auf die Rechenzentrumskühlung, also 450 Millionen Euro. Diese Zahlen zeigen, dass der Kühlung von RZ eine besondere Bedeutung zukommt. RZ sind in ihrer Komplexität mit anspruchsvollen Produktionsanlagen vergleichbar. Ihre Kühlung erfordert die Beachtung mehrerer gegenseitiger Abhängigkeiten. Der folgende Beitrag gibt einen Überblick.
Bild: panthermedia.net/vschlichting
Zur Beurteilung der Energieeffizienz eines RZ hat sich der von The-Green-Grid-Organisation [2] eingeführte PUE-Wert (Power Usage Effectiveness) durchgesetzt. Er setzt den gesamten Energieverbrauch Pges eines RZ ins Verhältnis zum Energieverbrauch der IT-relevanten Geräte PIT, also PUE = Pges / PIT. Der Energieverbrauch der IT-Ausstattung setzt sich zusammen aus den Leistungen der Server, Speicher und Netzwerkgeräte. Die Gesamtenergie eines RZ beinhaltet zusätzlich die elektrischen und thermischen Energieverbräuche des Gebäudes, das Stromnetz mit Schaltanlagen, Batterien, Notstromgeneratoren, der USV, den nachgeschalteten Verteilleisten an den Racks (PDU), sowie alle Anlagen zur Kühlung mit zugehöriger Kälteerzeugungs- und Rückkühltechnik, Hydraulik und Raumlufttechnik (RLT). Je nach Bilanzierungsgrenze der Messung (Ausgang USV beziehungsweise PDU oder Eingang IT-Geräte) und Bezug auf elektrische Spitzenleistung oder jährlichen Gesamtverbrauch ergeben sich unterschiedliche PUE-Werte. Den genauesten Wert erhält man mit der Messung der PIT am Eingang der IT-Systeme und Bezug auf den jährlichen Energieverbrauch. Der PUE-Wert ist ein bewährter Gradmesser zur Beurteilung des Erfolgs von verschiedenen möglichen und alternativen Effizienzmaßnahmen. Effiziente RZ erreichen Werte unter 1,1.
Konsolidierung und Virtualisierung
Der PUE-Wert liefert eine Aussage über den effizienten Einsatz elektrischer Energie, aber nicht wie effizient das RZ insgesamt betrieben wird. Untersuchungen haben gezeigt, dass von vielen Servern im 24 h-Betrieb nur zehn bis 20 % der maximalen Leistung abgerufen werden. Leider geht mit der geringen Auslastung kein entsprechend niedriger Energiebedarf einher. Die Leistungsaufnahme von Servern liegt im Leerlauf (Stand by) bei etwa 55 % der Volllast. Es ist daher sinnvoll die Kapazität von Servern möglichst lange voll auszuschöpfen. Das Konzept den Betrieb dahingehend zu optimieren besteht in der so genannten Konsolidierung. Sie beruht auf der Verringerung der Anzahl von Servern durch die Zusammenführung heterogener Systeme, der Bündelung ihrer Ressourcen und dem Zurverfügungstellen der frei werdenden Kapazitäten für zusätzliche Anwendungen. Das geschieht häufig durch Umstellen auf Blade-Server. Das sind modular aufgebaute kompakte Server mit mehreren Serverblades (Platinen), die in einem Rack die gleiche Stromversorgung und Kühlung nutzen und zentral verwaltet werden. Diese einfachen Maßnahmen können die Auslastung um bis zu 50 % verbessern.
Eine weitere Möglichkeit die Auslastung eines RZ zu steigern besteht in der Virtualisierung. Darunter versteht man Folgendes: Ein Server benötigt zu seiner Funktion eine Hardware und ein Betriebssystem. Bei einem virtuellen Server wird die gesamte Hardware über eine Software simuliert, wobei die Funktion durch ein eigens installiertes Betriebssystem erreicht wird. Die Anwendungsprogramme merken keinen Unterschied, ob der Server physisch vorhanden oder virtuell ausgeführt ist. Mit geeigneter Software können bei den Anwendungen die erforderlichen Kapazitäten angepasst zur Verfügung gestellt werden.
Beide Maßnahmen zusammen haben die Auslastungen von RZ teilweise auf über 80 % gebracht, bei einer Senkung des Energieverbrauchs um mehr als 30 %. Das bedeutet in der Folge: Eingesparte Energie erfordert keine Kühlung.
Verfügbarkeit des Datenzugriffs
Die Verfügbarkeit von RZ ist für Betreiber und Nutzer von besonderer Bedeutung. Eine hohe Verfügbarkeit erfordert den Aufbau entsprechender Redundanzen. Die kosten aber Geld und Energie. Unternehmen, deren Geschäftsmodell eine gewisse Ausfallzeit auf den Datenzugriff zulassen, kommen mit einem niedrigeren Verfügbarkeitsniveau aus, als beispielsweise Banken und Finanzdienstleister. Für die ist eine maximale Ausfallsicherheit von existenzieller Bedeutung. Daher sind eine differenzierte Risikobeurteilung und eine realitätskonforme Analyse der Restrisiken die Voraussetzung zur Festlegung der Klassifizierung der Ausfallsicherheit.
Zur Beurteilung der Verfügbarkeit von RZ mit den jeweilig erforderlichen Redundanzen, wurde vom Uptime Institut eine vierstufige Klassifizierung eingeführt [3], die sogenannten Tier-Standards (tier, engl. Stufe, Rang). Sie beziehen sich auf die Anzahl der (Redundanz) Wege von Server, Stromversorgung und Kühlung, sowie auf die Möglichkeit zur Wartung bei laufendem Betrieb und der Bewertung des Single Point of Failure SPOF (Ausfall eines Systembausteins, der zum Ausfall des gesamten Systems führt).
Für die einzelnen Klassen gelten folgende Anforderungen:
- Tier-1 sieht keine Redundanz vor. Es gibt nur eine USV und eine Kälteversorgung. Das System ist nicht fehlertolerant. Die Wartung kann nur durch Umschalten auf das ungesicherte Stromnetz erfolgen
- Tier-2 verwendet gegenüber Tier-1 redundante Komponenten.
- Tier-3, ist die in RZ am meisten vorgefundene Redundanzform. Server sind hier zweifach vorhanden und es gibt mehrere Versorgungswege. Das System wird dadurch fehlertolerant. Eine Wartung bei laufendem Betrieb ist gegeben. SPOF sind aber weiterhin möglich.
- Tier-4 verfügt über eine vollständige Redundanz aller Systeme mit doppelten Versorgungswegen. SPOF sind nahezu ausgeschlossen, das System ist äußerst fehlertolerant.
Die Wichtigkeit der bedarfsgerechten Auslegung der Redundanz zeigt ein Blick auf die Investitionskosten nach folgender Tabelle.
| RZ Verfügbarkeit | Tier-1 | Tier-2 | Tier-3 | Tier-4 |
| Relative Kosten | 100 % | 150 % | 200 % | 275 % |
Relative Kosten für RZ in Abhängigkeit der Verfügbarkeit.
Die neue VDI 2054, Technische Anlagen zur Konditionierung von Einrichtungen für die Datenverarbeitung [4], beschränkt sich auf die Raumlufttechnik für RZ. Hier findet man für die Kühlung vier Verfügbarkeitsklassen von A bis D. Die Anforderungen zur Redundanz decken sich weitestgehend mit dem Tier-Standard.
Kühlung in Abhängigkeit der Betriebsbedingungen
Die abzuführenden Wärmelasten eines RZ lassen sich im Vorfeld durch Umsetzung der Konsolidierung und Virtualisierung von Servern und der bedarfsgerechten Wahl der Redundanz verringern. Als übliches Kühlverfahren wird die indirekte freie Kühlung genutzt, deren Anwendung durch Verdunstungskühlung erweitert werden kann. Ist deren Potenzial ausgeschöpft, wird auf mechanische Kühlung zurückgegriffen. Für die Kühlkosten ist entscheidend, in welchem Umfang mechanische Kälteleistung eingesetzt werden muss. Das ist abhängig von der Zulufttemperatur, die sich wiederum nach den Temperaturen in den Racks richtet, die die Serverhersteller vorgeben. Dabei gilt: Je höher die Zulufttemperatur und die Temperatur im Rack, umso größer das Potenzial teure mechanische Kälteleistung durch preiswertere freie Kühlung zu ersetzen.
In der Vergangenheit haben Serverhersteller aus Gründen der Gewährleistung vergleichsweise niedrige Austrittstemperaturen vorgegeben. Dadurch wurden RZ mit Raumtemperaturen von etwa 20 °C und niedriger betrieben. Die Betreiber wünschten durch Anheben der Temperaturen eine höhere Effizienz ihrer RZ zu erreichen. Das ASHRAE-Komitee griff diese Forderung auf und erarbeitete gemeinsam mit den Serverherstellern Empfehlungen, die als Thermal Guidelines for Data Processing Environments [5] erschienen. Sie enthalten empfohlene und zulässige Anforderungen. Der empfohlene Bereich beschreibt die Grenzen, in denen IT-Ausrüstung mit höchster Zuverlässigkeit betrieben werden kann und noch ein effizienter Betrieb eines RZ sichergestellt wird.
Die Guidelines unterteilen RZ in vier Klassen A 1 bis A 4. Für den empfohlenen Bereich gelten enge Temperatur- und Feuchtevorgaben (siehe Tabelle).
| Klasse | Trockentemperatur [°C] | relative Feuchte [%] |
| empfohlen | ||
| A 1 – A 4 | 18 – 27 | 28 – 60 |
| zulässig | ||
| A 1 | 15 – 32 | 20 – 80 |
| A 2 | 10 – 35 | 20 – 80 |
| A 3 | 5 – 40 | 8 – 85 |
| A 4 | 5 – 45 | 8 – 90 |
Auszug aus den ASHRAE-Guidelines zu Temperaturen und Feuchten in RZ in Abhängigkeit von den Klassen A 1 bis A 4.
Der zulässige Bereich bietet für die Klassen A 1 und A 2 erweiterte Temperatur- und Feuchtewerte mit entsprechend geringeren Anforderungen an die Kühl- und Klimatechnik. Das bedeutet, dass durch Nutzung höherer Eintrittstemperaturen die Betriebszeit für freie Kühlung, also ohne mechanische Kälte, deutlich erweitert werden kann. Für die Klassen A 3 und A 4 sind die zulässigen Grenzen so gewählt, dass ganz auf mechanische Kälte verzichtet werden kann. Nun steht zu befürchten, dass der Betrieb eines RZ mit höheren Raumtemperaturen die Ausfallsicherheit der Server negativ beeinflusst. Dieser Sachverhalt wird in den Guidelines ausführlich behandelt (X-Faktor) und zeigt, dass höhere Temperaturen die Ausfallquote vergleichsweise gering beeinflussen.
Die neue VDI 2054 [4] nennt als gängige Bereiche für heutige Rechnertechnologien Rackeintrittstemperaturen von 25 °C bis über 30 °C und relative Feuchten zwischen 20 % und 80 %. Diese Werte liegen damit im zulässigen Bereich der ASHRAE-Guideline-Klassen A 1 und A 2.
Luftführungsarten und Kühlleistungen
Zur Wärmelastabfuhr in RZ haben sich in Abhängigkeit der Höhe der Wärmeleistung der Racks und der Leistungsdichte im RZ verschiedene Arten der Luftführung bewährt:
Mischströmung mit Luftzufuhr von der Decke
Hier wird gekühlte Zuluft vom Deckenbereich in das RZ eingebracht und die erwärmte Abluft abgeführt.
Kühlung eines RZ mit Mischlüftung. Bild: Dorenburg/Richter
Mischlüftung eignet sich grundsätzlich nur zur Abfuhr kleiner Wärmelasten. Der Einsatz beschränkt sich hier auf Leistungsdichten von 300 W/m² im Raum und Wärmelasten bis 2 kW je Rack.
Luftführung über Doppelboden ohne lufttechnische Ordnung der Racks
Kühlung mit Zulufteinbringung über Doppelboden ohne lufttechnische Ordnung der Racks. Bild: Dorenburg/Richter
Bei der ober gezeigten Kühllösung dargestellt, wird die gekühlte Zuluft über einen Doppelboden in das RZ eingebracht und strömt über perforierte Bodenplatten vor den Racks in den Raum ein. Diese Anordnung kommt vorzugsweise dann zur Anwendung, wenn Serverschränke verschiedener Hersteller (heterogenes Layout) vorliegen. Diese Luftführung ist geeignet für Leistungsdichten bis 1 kW/m² und Wärmelasten bis 4 kW je Rack.
Zu beachten ist, dass sich durch das Mischen der kühlen Zuluft mit der warmen Raumluft Leistungsverluste einstellen.
Luftführung über Doppelboden mit Warmgang-Kaltgang-Anordnung der Racks
Eine Verbesserung der vorgenannten Lösung ergibt sich, indem mit den Racks Gänge gebildet werden, bei der sich ihre Fronten gegenüberstehen.
Kühlung mit Zulufteinbringung über Doppelboden in Warmgang-Kaltgang-Anordnung der Racks. Bild: Dorenburg/Richter
Die kühle Zuluft wird in diese Gänge eingebracht. Sie werden daher als Kaltgänge bezeichnet. Die eingeströmte Luft wird beidseitig von den Racks angesaugt und nach ihrer Durchströmung erwärmt in die sogenannten Warmgänge abgegeben. Von dort steigt sie zur Raumdecke und wird als Abluft der RLT-Anlage zur Rückkühlung wieder zugeführt. Mit dieser Luftführung sind Leistungsdichten bis 2 kW/m² und bis 8 kW je Rack behandelbar. Leistungsmindernd können sich zwei Vorgänge auswirken: Zum einen können Bypassströmungen an den Stirnseiten der Warm- und Kaltgänge auftreten, zum anderen kann Luft aus den Kaltgängen ungenutzt in den Abluftbereich strömen.
Luftführung über Doppelboden mit Einhausung der Kaltgänge
Die zuvor beschriebenen Leistungsminderungen können durch eine bauliche Abschottung der Gänge, also einer Einhausung der Kaltgänge (siehe Bild) vermieden, oder zumindest deutlich verringert werden.
Kühlung mit Zulufteinbringung über Doppelboden in Kaltgang – Warmgang Anordnung der Racks und Einhausung der Kaltgänge. Bild: Dorenburg/Richter
Das erweitert den Einsatzbereich dieser Luftführung auf Leistungsdichten im Raum bis 4 kW/m² und Wärmelasten je Rack bis 12 kW.
Die Kaltgangeinhausung führt bei hohen Wärmelasten zu entsprechend hohen Temperaturen im verbleibenden Raum. Dadurch ergeben sich Leistungsminderungen durch Wärmtransmission in die kühleren Bereiche. Dieser Vorgang kann entweder durch zusätzliche Einhausung auch der Warmgänge vermieden werden, oder durch direktes Abführen der warmen Luft aus den Warmgängen über ein Kanalsystem.
Kühlung mit wassergekühlten Racks
Für thermisch hoch belastete Server kommen gelegentlich auch wassergekühlte Racks zum Einsatz. Damit können Wärmelasten bis 40 kW je Rack abgeführt werden. Bei dieser Lösung wird zwischen offenen und geschlossenen Systemen unterschieden.
Bei einem offenen System, wie im Bild zu sehen, strömt die im Server erwärmte Luft durch ein an der Rückseite des Racks montiertes Kühlregister und wird energieneutral, also ohne Temperaturerhöhung in den Raum zurückgeführt.
Wassergekühltes Rack als offenes System. Bild: Dorenburg/Richter
Die Wärme wird vom Register mit Wasser aus dem Rack abgeführt.
In einem geschlossenen Rack sind zusätzlich Ventilatoren und ein Kühlregister eingebaut.
Wassergekühltes Rack als geschlossenes System. Bild: Dorenburg/Richter
Die Luft strömt dann stets im Kreislauf, nimmt dabei die Serverwärme auf und gibt sie im Kühlregister an das Wasser ab, das dabei ständig gekühlt werden muss (zum Beispiel mit einem Wasserkühlsatz).
Zu beachten sind bei dieser Lösung die Risiken, die durch die Kaltwasserverrohrung im RZ entstehen können (siehe Klassifizierung der Verfügbarkeit).
Ausblick
Die mittelfristige Entwicklung der RZ-Kühlung wird durch zwei Einflussgrößen bestimmt. Zum einen der Klimawandel, der durch Langzeitauswertungen des Deutschen Wetterdienstes belegt wird. So hat die mittlere Jahrestemperatur seit 1881 in Deutschland um 1,2 K zugenommen. Die mittlere Anzahl der heißen Tage über 30 °C hat sich im Zeitraum von 1951 bis 2017 von drei auf neun verdreifacht. Beide Trends setzen sich offenbar fort, so dass künftig höhere Außentemperaturen zu erwarten sind und Kühlsysteme damit größer dimensioniert werden müssen.
Zum anderen entwickeln die Hersteller von Server und IT-Ausrüstungen ihre Systeme so, dass sie mit immer höheren Temperaturen betrieben werden können. Das wird in absehbarer Zeit dazu führen, dass auf mechanische Kälte ganz verzichtet werden kann und freie Kühlung, ergänzt um Verdunstungskühlung, zum Standard der RZ-Kühlung wird.
Literatur:
[1] Hintemann, R.: Rechenzentren in Deutschland, Update 2017, Borderstep Institut, Berlin 2017.
[2] The Green Grid, PUETM: A Comprehensive Examination of the Metric, White Paper # 49 (2012).
[3] Uptime Institute White Paper, Tier Classification Define Site Infrastructure Performance, 2008.
[4] VDI 2054 Entwurf, Raumlufttechnik – Technische Anlagen zur Konditionierung von Einrichtungen für die Datenverarbeitung, Beuth Verlag, Berlin 2018–05.
[5] Thermal Guidelines for Data Processing Environments, ASHRAE, Atlanta/USA, 2004, (Updates in 2008 und 2011).
Dipl.-Ing. Jürgen Dorenburg ist seit 2012 freiberuflich tätig als Berater, Fachbuchautor und Schulungsreferent im Bereich Lüftungstechnik. Zuvor war er Vertriebsleiter und Geschäftsführer der Hoval GmbH, Bereich Klimatechnik. // Dipl.-Ing. (FH) Versorgungstechnik Christian Richter ist Segmentmanager Rechenzentren bei der Hoval AG Liechtenstein und hat als stellvertretender Vorsitzender des Richtlinienausschusses die Erstellung der neuen VDI 2054 begleitet.
