Maschinelle Lernmodelle: endlich auf kleinen Geräten möglich
Mehr Datenschutz, bessere Vorhersagen und das bei schnellerem Training und mit deutlich weniger Speicher: Eine Forschergruppe des MIT hat ein neues Trainingssystem auf Basis innovativer Algorithmen entwickelt, mit dem sich KI-Modelle deutlich verbessern lassen.
Forschende des MIT haben mit einer neuen Methode gezeigt, dass maschinelle Lernmodelle nach nur zehn Minuten Training Personen auf Bildern erkennen können.
Foto: panthermedia.net/ AndreyPopov
Ohne Mikrocontroller oder Kleinst-Computer sind viele Anwendungen nicht möglich. Denn sie stellen die Basis dar für vernetzte Geräte. Das können solche für das Internet der Dinge sein (IoT), aber auch Sensoren in Autos oder Smartphones. Diese Mikrocontroller sind eigentlich nichts anderes als Halbleiterchips, in denen ein Prozessor und Peripheriefunktionen integriert sind. Da sie, wie der Name schon sagt, extrem klein sind, bieten diese Controller auch nur sehr wenig Speicherplatz und haben in der Regel kein Betriebssystem installiert. Sie sind für die Arbeit mit Modellen künstlicher Intelligenz (KI) daher ungeeignet.
Was Menschen wirklich über künstliche Intelligenz denken
Deshalb hat man in der Regel bisher das Trainieren eines maschinellen Lernmodells eher mit leistungsstarken Computern in einem Rechenzentrum erledigt und das Modell im Anschluss auf einem sogenannten „Edge-Gerät“ bereitgestellt. Das ist allerdings aufwendig, damit teurer und zudem entstehen Datenschutzprobleme. Denn sobald es in diesem Zusammenhang auch um Benutzerdaten geht, werden diese zum Trainieren an einen zentralen Server gesendet. Aus Sicht einer Forscher-Gruppe des MIT wäre es viel besser, direkt auf einem intelligenten Edge-Gerät die Daten anzupassen. Damit das möglich wird, haben Sie eine neue Technik entwickelt.
Maschinelle Lernmodelle auf einem Mikrocontroller trainieren
Die Lösung: ein sogenanntes On-Device-Training, das mit weniger als einem Viertel Megabyte Speicher funktioniert. Dafür haben sie intelligente Algorithmen und Frameworks so entwickelt, dass der Rechenaufwand sich deutlich reduziert. Das hat dann auch den Vorteil, dass der Prozess des Trainierens eines Modells schneller und speichereffizienter möglich ist. Mit der neuen Technik könne man innerhalb nur weniger Minuten ein maschinelles Lernmodell auf einem Mikrocontroller trainieren.
Es biete zudem den Vorteil, dass private Daten dadurch besser geschützt seien, was insbesondere bei medizinischen Anwendungen ein wichtiges Thema ist. Denn sie blieben auf dem entsprechenden Gerät gespeichert und würden nicht zu einem externen Server geschickt. Die neue Art des Trainings könnte das Modell auf besondere Art und Weise anpassen und damit auch die Bedürfnisse der Benutzerin oder des Benutzers berücksichtigen. Auch die Genauigkeit des Modells im Vergleich zu anderen Ansätzen des Trainings würde sich verbessern. „Unsere Studie ermöglicht es IoT-Geräten, nicht nur Inferenzen durchzuführen, sondern auch die KI-Modelle kontinuierlich mit neu gesammelten Daten zu aktualisieren, was den Weg für lebenslanges Lernen auf dem Gerät ebnet. Die geringe Ressourcennutzung macht Deep Learning zugänglicher und kann eine größere Reichweite haben, insbesondere für Edge-Geräte mit geringem Stromverbrauch“, sagt Song Han, Professor am Department of Electrical Engineering and Computer Science (EECS). Inferenzen sind Prozesse, bei denen ein Modell auf einen Datensatz angewendet wird und dadurch eine Vorhersage möglich ist.
So werden maschinelle Lernmodelle effizienter
Die Modelle für maschinelles Lernen, die hauptsächlich im Einsatz sind, kennt man als sogenannte neuronale Netze. Sie funktionieren im weitesten Sinne wie das menschliche Gehirn. Knoten und Neuronen verarbeiten die Daten, um die gewünschte Aufgabe zu erledigen. Lautet diese Aufgabe, Personen auf Fotos zu erkennen, muss das Modell anhand von Millionen Beispielen diese Aufgabe zuerst erlernen. Dabei kommt es zu Gewichtungen und Aktivierungen und genau diese kommen dabei in großer Zahl vor, was am Ende viel Speicherplatz benötigt.
Die Forschenden setzten auf eine Alternative: Mit zwei algorithmischen Lösungen wollen sie das Training effizienter und weniger speicherintensiv gestalten. Die erste Lösung ist auch als sogenanntes Sparse Update bekannt. Sie nutzt einen Algorithmus, der dafür zuständig ist, die wichtigsten Gewichte zu identifizieren, die in jeder Trainingsrunde aktualisiert werden müssen. Der Algorithmus friert dann nacheinander die Gewichte so lange ein, bis ein festgelegter Schwellenwert erreicht ist. Alle verbleibenden Gewichte werden weiter aktualisiert. Die eingefrorenen dagegen müssen nicht im Speicher abgelegt werden.
Maschinelle Lernmodelle: Training mit neuer Methode 20-mal schneller
Die zweite Lösung besteht aus einem quantisierten Training und der Vereinfachung der Gewichtungen, die typischerweise 32 Bit betragen. Der Algorithmus rundet nun die Gewichtungen durch eine Quantisierung. Das Ergebnis: Die Gewichtungen sind dann nur noch acht Bit groß. Dadurch reduziert sich die Speichermenge für Training und Inferenz. Danach wendet der Algorithmus die Technik „Quantization-Aware Scaling“ (QAS) an. Diese funktioniert wie ein Multiplikator und passt das Verhältnis zwischen Gewichtung und Gradient an, damit die Genauigkeit gewährleistet ist.
Aus diesen Ansätzen haben die Forschenden ein System entwickelt: Tiny Training Engine ist eine algorithmische Innovation, die auf einem einfachen Mikrocontroller ohne Betriebssystem funktioniert. Das System nimmt wichtige Änderungen vor: Es verschiebt die Schritte innerhalb des Trainings so, dass mehr Arbeit in der Kompilierungsphase stattfindet, bevor das Modell auf dem Edge-Gerät bereitgestellt wird. „Wir verschieben einen Großteil der Berechnungen wie die automatische Differenzierung und die Grafikoptimierung auf die Übersetzungszeit“, sagt Han. Die Optimierung benötigt nur 158 Kilobyte Speicher. Die anschließenden Tests zeigten, dass dieses Modell nach 10 Minuten Training Personen auf Bildern erkennen konnte. Damit war das Training 20-mal schneller als bei anderen Ansätzen. Nun wollen die Forschenden nach diesem Erfolg die Methode auch auf Sprachmodelle und andere Arten von Daten anwenden. Denn so ließe sich auch der CO2-Fußabdruck des Trainings reduzieren, wenn keine so großen maschinellen Lernmodelle mehr notwendig sind.
Mehr zum Thema KI:
Ein Beitrag von:
