Dänische Informatiker sicher: So benötigt KI weniger Energie
Künstliche Intelligenz hat einen enormen Energiehunger, doch KI-Modelle müssen nicht so extrem leistungshungrig sein. Daran glauben dänische Informatiker, die einen Weg aufzeigen, wie sich der Stromverbrauch senken lässt.
Das Trainieren von KI-Modellen hinterlässt einen riesigen CO2-Fußabdruck, dänische Informatiker wollen ihn signifikant verkleinern.
Foto: PantherMedia / malpetr
Dänische Forschende kommen in einer Studie zu dem Ergebnis, dass KI-Server bis 2027 so viel Energie verbrauchen werden wie Argentinien oder Schweden. Mit einer Eingabe bei ChatGPT lässt sich 40-mal das Handy laden. Bislang haben sich die Forschungsgemeinschaft und die Industrie noch nicht allzu sehr mit energieeffizienteren und damit klimafreundlicheren KI-Modellen beschäftigt. Das muss sich ändern, waren sich Informatikforschende der Universität Kopenhagen sicher. Sie haben ein Rezeptbuch für die Entwicklung von KI-Modellen erstellt, die weniger Energie bei gleicher Leistung benötigen.
„Heute konzentrieren sich die Entwickler darauf, KI-Modelle zu entwickeln, die effizient sind, was die Genauigkeit ihrer Ergebnisse betrifft. Das ist so, als würde man sagen, ein Auto sei effizient, weil es einen schnell ans Ziel bringt, ohne zu berücksichtigen, wie viel Kraftstoff es verbraucht. Daher sind KI-Modelle oft ineffizient, wenn es um den Energieverbrauch geht“, sagt Assistenzprofessor Raghavendra Selvan vom Fachbereich Informatik, der sich in seiner Forschung mit Möglichkeiten zur Verringerung des CO2-Fußabdrucks von KI beschäftigt.
Warum ist der CO2-Fußabdruck der KI so groß?
Die Entwicklung von KI-Systemen, einschließlich großer Modelle wie dem Sprachmodell von ChatGPT, ist energieintensiv und führt zu erheblichen CO2-Emissionen. Der hohe Energiebedarf ergibt sich aus den komplexen Rechenoperationen, die für das Training solcher Modelle erforderlich sind und in der Regel auf Hochleistungsrechnern durchgeführt werden.
Rechenzentren, die diese Aufgaben übernehmen, verbrauchen erhebliche Mengen an Energie, sowohl für den Betrieb der Computer als auch für deren Kühlung. Die Art der Energieversorgung dieser Zentren, insbesondere wenn sie auf fossilen Brennstoffen basiert, hat einen großen Einfluss auf ihren CO2-Fußabdruck.
So lässt sich der CO2-Ausstoß verringern
Die neue Studie, an der Selvan und der Informatikstudent Pedram Bakhtiarifard beteiligt waren, zeigt, dass es möglich ist, den CO2-Ausstoß zu reduzieren, ohne die Genauigkeit eines KI-Modells zu beeinträchtigen. Dazu müssen die Umweltkosten bereits in der Entwicklungs- und Trainingsphase der KI-Modelle berücksichtigt werden.
„Ein Modell von Grund auf energieeffizient zu entwerfen, bedeutet, den CO2-Ausstoß über den gesamten Lebenszyklus zu reduzieren. Das betrifft nicht nur die Trainingsphase, die besonders viel Energie verbraucht und oft Wochen oder Monate dauern kann, sondern auch die spätere Nutzung des Modells“, erklärt Selvan.
Gigantischer Energiebedarf
In ihrer Studie ermittelten die Wissenschaftler den Energiebedarf für das Training von über 400.000 Modellen des Typs „Convolutional Neural Network“ (CNN), ohne sie alle tatsächlich zu trainieren. CNNs finden Anwendung in Bereichen wie der medizinischen Bildanalyse, der Sprachübersetzung sowie der Objekt- und Gesichtserkennung – Technologien, die beispielsweise in der Kamera-App Ihres Smartphones zum Einsatz kommen könnten.
Laut Schätzungen des Forschungsteams würde das Training dieser 400.000 CNNs etwa 263.000 kWh Energie verbrauchen, was dem Energiekonsum eines durchschnittlichen Bürgers in Dänemark über einen Zeitraum von 46 Jahren entspricht. Ein Computer würde circa 100 Jahre benötigen, um alle diese Modelle zu trainieren. Die Verfasser der Studie führten das Training allerdings nicht selbst durch, sondern nutzten ein alternatives KI-Modell für ihre Schätzungen, wodurch sie 99 % der eigentlich benötigten Energie einsparen konnten.
Rezeptbuch für die KI-Industrie entwickelt
Basierend auf diesen Berechnungen präsentieren die Forscher eine Sammlung von Benchmark-KI-Modellen, die für bestimmte Aufgaben weniger Energie benötigen, aber eine vergleichbare Effizienz aufweisen. Die Ergebnisse der Studie deuten darauf hin, dass durch die Auswahl alternativer Modelltypen oder durch Modellanpassungen Energieeinsparungen von 70 bis 80 Prozent in der Trainings- und Anwendungsphase möglich sind, bei einer minimalen Leistungseinbuße von nur etwa einem Prozent. Die Forscher halten dies für eine konservative Schätzung.
„Unsere Ergebnisse sind wie ein Rezeptbuch für KI-Profis. Die Rezepte beschreiben nicht nur die Leistung der verschiedenen Algorithmen, sondern auch, wie energieeffizient sie sind. Und dass man bei der Entwicklung eines Modells oft das gleiche Ergebnis erzielt, wenn man eine Zutat durch eine andere ersetzt. Jetzt können Praktiker das gewünschte Modell sowohl nach Leistung als auch nach Energieverbrauch auswählen, ohne jedes Modell erst trainieren zu müssen“, sagt Pedram Bakhtiarifard.
Es ist klimafreundlicher, gleich das richtige Modell auszuwählen
Pedram Bakhtiarifard erläutert die Herausforderung bei der Entwicklung neuer KI-Modelle folgendermaßen: „Oft werden viele Modelle trainiert, bevor man dasjenige findet, das sich am besten für die Lösung einer bestimmten Aufgabe eignet. Das macht die Entwicklung von KI extrem energieintensiv. Es wäre daher klimafreundlicher, von vornherein das richtige Modell auszuwählen, das in der Trainingsphase nicht so viel Strom verbraucht.“
Die Forscher betonen, dass in einigen Bereichen, etwa bei selbstfahrenden Autos oder in bestimmten Bereichen der Medizin, die Modellgenauigkeit entscheidend für die Sicherheit sein kann. Hier ist es wichtig, keine Kompromisse bei der Leistung einzugehen. Dies sollte jedoch nicht davon abhalten, in anderen Bereichen eine hohe Energieeffizienz anzustreben.
Energieeffizienz sollte festes Kriterium bei der Entwicklung sein
„KI hat ein erstaunliches Potenzial. Aber wenn wir eine nachhaltige und verantwortungsvolle Entwicklung der KI sicherstellen wollen, brauchen wir einen ganzheitlicheren Ansatz, der nicht nur die Leistung der Modelle, sondern auch die Auswirkungen auf das Klima berücksichtigt. Hier zeigen wir, dass ein besserer Kompromiss möglich ist. Bei der Entwicklung von KI-Modellen für verschiedene Aufgaben sollte die Energieeffizienz ein festes Kriterium sein – so wie es in vielen anderen Branchen Standard ist“, erläutert abschließend Raghavendra Selvan.
Das in dieser Arbeit zusammengestellte „Rezeptbuch“ ist als Open-Source-Datensatz verfügbar, mit dem andere Forscherinnen und Forscher experimentieren können. Die Informationen über alle 423.000 Architekturen werden auf Github veröffentlicht, sodass KI-Experten mit einfachen Python-Skripten darauf zugreifen können.
Ein Beitrag von:
