Künstliche Intelligenz kann jetzt auch logisch denken
Bislang war Künstliche Intelligenz nicht gut darin, Dinge zu verallgemeinern und logische Verknüpfungen zu beachten. Das hat sich nun geändert. Forschende haben ein KI-System entwickelt, das solche Fähigkeiten aufweist und dabei sogar Menschen übertrifft.
KI hatte bislang Probleme, logische Zusammenhänge korrekt miteinander zu kombinieren.
Foto: Panthermedia.net/nndanko
Wenn ein Kind weiß, was die Worte „rückwärts“ und „hüpfen“ bedeuten, kann es problemlos auch rückwärts hüpfen. Für neuronale Netze schien dieses logische Denken bislang unerreichbar. Künstliche Intelligenz hatte stets Probleme, wenn es darum ging, bekannte Komponenten neu zu kombinieren und dabei logische Verknüpfungen zu beachten. Forschende der New York University und der Universität Pompeu Fabra in Barcelona haben jetzt ein neues Level im maschinellen Lernen erreicht und ein System entwickelt, das gelernte Konzepte ähnlich gut verallgemeinern kann wie wir Menschen.
Logische Umkehrschlüsse für KI häufig ein Problem
Die menschliche Sprache und das Denkvermögen entfalten ihre volle Kraft durch die systematische Kompositionalität, also die algebraische Kompetenz, neue Kombinationen aus bereits bekannten Bausteinen zu begreifen und zu kreieren. Schon in den späten 1980er Jahren waren Wissenschaftlerinnen und Wissenschaftler der Meinung, dass künstliche neuronale Netze über diese spezielle Fähigkeit nicht verfügten, und dementsprechend nicht als effektive Modelle für den menschlichen Geist fungieren könnten. Obwohl sich neuronale Netze in den vergangenen Jahren drastisch weiterentwickelt haben, bleibt die Herausforderung der Systematik nach wie vor ungelöst.
Der Mensch zeigt sich besonders talentiert, wenn es darum geht, neue Konzepte zu erfassen und diese systematisch mit bereits existierenden Konzepten zu kombinieren. Ein Kind, welches die Bewegung „Hüpfen“ erlernt hat, ist dank seiner Kompositionsfähigkeiten in der Lage zu verstehen, wie man „rückwärts hüpft“ oder „zweimal um einen Kegel herumhüpft“. Diese Art von logischer Verknüpfung fehlt bei neuronalen Netzen bislang, obwohl auch sie in den letzten Jahren erhebliche Fortschritte verzeichnen konnten.
Moderne künstliche Intelligenzen wie ChatGPT, Dall E und andere ähnliche Systeme, beeindrucken mit einer Reihe von herausragenden Leistungen. Sie sind in der Lage, Texte und Bilder zu generieren, Krankheiten vorherzusagen, fundamentale wissenschaftliche Prinzipien abzuleiten und sogar Kreativität unter Beweis zu stellen. Trotz dieser beeindruckenden Fähigkeiten zeigen sie jedoch Schwächen, wenn es um grundlegende logische Umkehrschlüsse geht. Selbst bei scheinbar einfachen Schlussfolgerungen wie „wenn A gleich B ist, dann ist B gleich A“ stoßen sie oft an ihre Grenzen.
Die Herausforderung für neuronale Netze
Die wesentliche Herausforderung in diesem Kontext ist die Tatsache, dass wir Menschen es als selbstverständlich erachten, gelernte Konzepte miteinander in Beziehung zu setzen. Sobald wir die Bedeutungen von „hüpfen“ und „rückwärts“ verstehen, fällt es uns leicht, auf Aufforderung rückwärts zu hüpfen, ohne dass wir dies als ein völlig neues Konzept erlernen müssen. Ebenso gelingt es uns mühelos, diese Begriffe auf neue Objekte oder Personen zu übertragen. Im Gegensatz dazu hätten bisherige künstliche Intelligenzen mit einer derartigen Verknüpfung ihre Schwierigkeiten.
Mit einer innovativen Form künstlicher Intelligenz haben Brenden Lake von der New York University und Marco Baroni von der Universität Pompeu Fabra in Barcelona jedoch den Beweis erbracht, dass das Blatt sich wenden kann. „Wir konnten zeigen, dass neuronale Netze eine dem Menschen ähnliche Systematik entwickeln können, sofern sie gezielt auf diese kombinatorischen Fähigkeiten hin optimiert werden“, berichten die Forscher. Die Ergebnisse ihrer Studie haben sie in der Fachzeitschrift „Nature“ vorgestellt.
Neuer Ansatz des maschinellen Lernens
Die in der Studie präsentierte neue Methode „Meta-learning for Compositionality (MLC)“ setzt neue Maßstäbe und steht in ihrer Leistungsfähigkeit der menschlichen Intelligenz in nichts nach, so das Forschungsteam. Sie übertrifft sogar in manchen Bereichen die menschliche Leistung. MLC zielt darauf ab, neuronale Netzwerke – die treibenden Kräfte hinter ChatGPT und verwandten Technologien zur Spracherkennung und Verarbeitung natürlicher Sprache – so zu schulen, dass sie ihre Fähigkeiten zur kompositorischen Generalisierung durch intensives Training verbessern.
Die Entwickler bisheriger Systeme, auch der umfangreichen Sprachmodelle, setzten ihre Hoffnungen darauf, dass sich die Fähigkeit zur kompositorischen Generalisierung von selbst durch Standardtrainingsmethoden einstellen würde, oder sie konzipierten spezielle Architekturen, um diese Fertigkeiten zu erlangen. MLC jedoch demonstriert, wie das gezielte Training dieser speziellen Fähigkeiten den Systemen ermöglicht, bisher unerschlossene Potenziale zu entfalten, so die Autoren der Studie.
„Seit 35 Jahren diskutieren Forscher in den Bereichen Kognitionswissenschaft, künstliche Intelligenz, Linguistik und Philosophie darüber, ob neuronale Netze eine menschenähnliche systematische Generalisierung erreichen können“, sagt Brenden Lake, Assistenzprofessor am Center for Data Science und am Fachbereich Psychologie der NYU und einer der Autoren der Studie. „Wir haben zum ersten Mal gezeigt, dass ein generisches neuronales Netzwerk die systematische Verallgemeinerung des Menschen in einem direkten Vergleich nachahmen oder sogar übertreffen kann.
Besser als ChatGPT
Bei MLC handelt es sich um ein neuartiges Lernverfahren, bei dem ein neuronales Netz kontinuierlich aktualisiert wird, um seine Fähigkeiten über eine Reihe von Episoden zu verbessern. In jeder Episode wird MLC mit einem neuen Wort konfrontiert und dazu angeregt, dieses in einem kompositorischen Kontext zu nutzen. Dies könnte beispielsweise bedeuten, das Wort „springen“ zu nehmen und daraus neue Wortkombinationen wie „zweimal springen“ oder „zweimal rechts herum springen“ zu kreieren. In jeder weiteren Episode wird MLC mit einem anderen Wort herausgefordert, was zu einer stetigen Verbesserung der Kompositionsfähigkeiten des Netzwerks führt.
Um die Effektivität von MLC zu überprüfen, führten die Forscher eine Vielzahl an Experimenten durch, an denen auch menschliche Teilnehmer partizipierten und die identische Aufgaben wie MLC bewältigen mussten. Anstatt bereits bekannte Wortbedeutungen zu lernen, wurden die menschlichen Teilnehmer jedoch zusätzlich dazu aufgefordert, die Bedeutungen von sinnfreien Begriffen, wie zum Beispiel „zup“ und „dax“, die von den Forschern definiert wurden, zu verstehen und anzuwenden. MLC lieferte Ergebnisse auf einem Niveau mit den menschlichen Teilnehmern und übertraf diese in manchen Fällen sogar.
Sowohl MLC als auch die Menschen zeigten dabei bessere Leistungen als ChatGPT und GPT-4, welche trotz ihrer generellen Fähigkeiten Schwierigkeiten mit dieser speziellen Lernaufgabe hatten. „Große Sprachmodelle wie ChatGPT haben immer noch Probleme mit der kompositorischen Generalisierung, obwohl sie in den letzten Jahren besser geworden sind“, bemerkt Baroni „Aber wir glauben, dass MLC die Kompositionsfähigkeiten großer Sprachmodelle weiter verbessern kann“.
Ein Beitrag von:
