Wie ChatGPT und Co. künftig energiesparsamer rechnen könnten
Die Leistungen der großen Sprachmodelle haben einen immensen Energiehunger, den Forscher nun im Detail untersuchen, um ihn reduzieren zu können.
(Bild: KI Midjourney)
- Thomas Brandstetter
Forscher von Google haben 2017 im Fachartikel "Attention is all you need" ihr erstes Konzept eines Transformermodells präsentiert und damit die Welt der Computerlinguistik auf den Kopf gestellt. Zuvor konnten KI-Algorithmen nur ein Wort eines Textes nach dem anderen analysieren. Die neuen Modelle waren in der Lage, ganze Sätze zu erfassen und haben damit Chatbots wie ChatGPT ermöglicht.
Doch die Sache hat einen Haken. Einige aktuelle Sprachmodelle bestehen aus weit über hundert Milliarden Parametern. Während eines langwierigen Trainingsprozesses analysieren sie riesige Textmengen. Das Training von GPT-3 hat 1287 Megawattstunden an elektrischer Energie verbraucht, das entspricht in etwa der Menge, die ein mittleres Atomkraftwerk in einer Stunde produziert. Und damit fängt es erst an.
In den ersten zwei Monaten nach seiner Einführung hatte der Chatbot bereits 100 Millionen Nutzer gefunden und benötigte Schätzungen zufolge jeden Tag 564 weitere Megawattstunden an elektrischer Energie, um seinen Dienst aufrechtzuerhalten.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Nächster Akt im Secure-Boot-Drama: Startverbot für alle (!) Windows-Bootloader
Telezooms im Vergleich
Photovoltaik: Anlagen dimensionieren, Wirtschaftlichkeit berechnen
3D-Druck: Payment-Ring im Eigenbau
Wandel bei Wärmepumpen: Neue Kältemittel, ohne Kompressor und mit KI
Wie KI beim Programmieren hilft
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Nächster Akt im Secure-Boot-Drama: Startverbot für alle (!) Windows-Bootloader
Telezooms im Vergleich
Photovoltaik: Anlagen dimensionieren, Wirtschaftlichkeit berechnen
3D-Druck: Payment-Ring im Eigenbau
Wandel bei Wärmepumpen: Neue Kältemittel, ohne Kompressor und mit KI