Schnelle Validierung 23.10.2024, 12:20 Uhr

Halluziniert die KI? Neues Tool ermöglicht genaue Überprüfung

Das neue Tool „SymGen“ ermöglicht schnellere Verifizierung von KI-Texten, reduziert Fehler und stärkt das Vertrauen in KI-Ergebnisse durch gezielte Quellenprüfung.

halluzinierende KI

Nicht selten fängt generative KI an zu halluzinieren. Ein neues Tool soll dabei helfen zu erkennen, wenn die künstliche Intelligenz Quatsch erzählt.

Foto: PantherMedia / bestforbest (YAYMicro

Ein neues Tool namens SymGen, entwickelt von Forschenden des MIT, soll helfen, die Genauigkeit von KI-generierten Texten zu überprüfen. Es beschleunigt den Verifizierungsprozess, indem es Benutzenden erlaubt, gezielt Datenquellen zu identifizieren, auf die sich die KI stützt. Dies reduziert die Zeit für die Überprüfung um 20 %. Das Tool könnte die Zuverlässigkeit von KI-Anwendungen in Bereichen wie Gesundheitswesen und Finanzen erhöhen.

Künstliche Intelligenz und Halluzinationen: Was ist das Problem?

Trotz ihrer Fähigkeiten bleibt die künstliche Intelligenz (KI) nicht frei von Fehlern. Insbesondere große Sprachmodelle (LLMs) neigen dazu, „Halluzinationen“ zu haben. Diese Halluzinationen treten auf, wenn die KI falsche oder ungesicherte Informationen liefert.  Das ist problematisch, besonders in Bereichen, die hohe Genauigkeit erfordern, wie etwa im Gesundheitswesen oder im Finanzsektor. Um das Vertrauen in die KI zu stärken, wird deshalb häufig eine nachträgliche Prüfung durch Menschen nötig.

Die manuelle Überprüfung von KI-generierten Inhalten ist jedoch ein zeitraubender und fehleranfälliger Prozess. Häufig müssen Prüfer lange Dokumente durchsehen, die von der KI zitiert werden, um sicherzustellen, dass die Informationen korrekt sind. Dieser Aufwand schreckt viele Menschen ab, die generative KI-Systeme für ihre Arbeit zu nutzen. Die Folge: Das Potenzial der Technologie bleibt oft ungenutzt.

Neues Tool hilft bei der Faktenprüfung

Um die menschliche Überprüfung zu vereinfachen, hat ein Forschungsteam des MIT ein neues Tool entwickelt: SymGen. Dieses System ermöglicht eine schnellere Verifizierung der Antworten eines Sprachmodells. Das Tool funktioniert, indem es Quellenangaben direkt in die Antworten der KI integriert. So können Benutzende genau nachvollziehen, auf welche Daten sich die KI stützt.

Stellenangebote im Bereich Softwareentwicklung

Softwareentwicklung Jobs
Albtal-Verkehrs-Gesellschaft mbH-Firmenlogo
Projektleiter*in Elektrotechnik Verkehrsanlagen (m/w/d) Elektroingenieur*in oder Techniker*in Albtal-Verkehrs-Gesellschaft mbH
Karlsruhe Zum Job 
Die Autobahn GmbH des Bundes Niederlassung Nordbayern-Firmenlogo
Ingenieur Elektrotechnik / Bauingenieur (w/m/d) Ladeinfrastruktur Die Autobahn GmbH des Bundes Niederlassung Nordbayern
Nürnberg Zum Job 
Bayerisches Staatsministerium für Wohnen, Bau und Verkehr-Firmenlogo
Traineeprogramm - Bachelor Fachrichtung Maschinenbau / Energie- und Gebäudetechnik (m/w/d) Bayerisches Staatsministerium für Wohnen, Bau und Verkehr
bayernweit Zum Job 
Bayerisches Staatsministerium für Wohnen, Bau und Verkehr-Firmenlogo
Traineeprogramm - Bachelor Fachrichtung Maschinenbau / Energie- und Gebäudetechnik (m/w/d) Bayerisches Staatsministerium für Wohnen, Bau und Verkehr
Nord-Micro GmbH & Co. OHGa part of Collins Aerospace-Firmenlogo
Projekt- / Produktingenieur (m/w/d) Nord-Micro GmbH & Co. OHGa part of Collins Aerospace
Frankfurt am Main Zum Job 
Fresenius Kabi-Firmenlogo
Instandhalter (m/w/d) Prozesstechnik - API Herstellung Fischöl Fresenius Kabi
Friedberg (Hessen) Zum Job 
B. Braun Melsungen AG-Firmenlogo
Project Manager (w/m/d) Pre-Development B. Braun Melsungen AG
Melsungen Zum Job 
Hamburger Stadtentwässerung AöR ein Unternehmen von HAMBURG WASSER-Firmenlogo
Ingenieur (m/w/d) Elektrotechnik als Projektleiter Hamburger Stadtentwässerung AöR ein Unternehmen von HAMBURG WASSER
Hamburg Zum Job 
THOST Projektmanagement GmbH-Firmenlogo
Wirtschaftsjurist*in / Ingenieur*in (m/w/d) für Contract & Claimsmanagement in Projektender Energiewende THOST Projektmanagement GmbH
Stuttgart, Mannheim Zum Job 
RES Deutschland GmbH-Firmenlogo
Head of Engineering / Leitung technische Planung Wind- & Solarparks (m/w/d) RES Deutschland GmbH
Vörstetten Zum Job 
MEWA Textil-Service SE & Co. Management OHG-Firmenlogo
Projektmanager (m/w/d) PMO Business Transformation MEWA Textil-Service SE & Co. Management OHG
Wiesbaden Zum Job 
MEWA Textil-Service SE & Co. Management OHG-Firmenlogo
Projektingenieur (m/w/d) Elektrotechnik MEWA Textil-Service SE & Co. Management OHG
Wiesbaden Zum Job 
KÜBLER GmbH-Firmenlogo
Techniker / Ingenieur / Fachplaner / TGA (m/w/d) Heizungstechnik und Elektro KÜBLER GmbH
Ludwigshafen Zum Job 
WPW JENA GmbH-Firmenlogo
Projektingenieur Elektroplanung (m/w/d) WPW JENA GmbH
Jena, hybrides Arbeiten Zum Job 
Bundesamt für Bauwesen und Raumordnung-Firmenlogo
Ingenieurin/Ingenieur (w/m/d) für die Koordination der Fachrichtung Elektrotechnik bzw. Nachrichtentechnik Bundesamt für Bauwesen und Raumordnung
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
fbw | Fernwärmegesellschaft Baden-Württemberg mbH-Firmenlogo
Elektroingenieur (m/w/d) (Ingenieur für Elektrotechnik, Energie- oder Versorgungstechnik o. ä.) fbw | Fernwärmegesellschaft Baden-Württemberg mbH
Stuttgart Zum Job 
Varex Imaging Deutschland AG-Firmenlogo
Elektroniker ( m/w/d) oder Mechatroniker (m/w/d) als Teamleitung im Bereich Messtechnik Varex Imaging Deutschland AG
Eckelmann AG-Firmenlogo
Systemingenieur Echtzeit-Programmierung/-Entwicklung (m/w/d) Eckelmann AG
Wiesbaden Zum Job 
ECKELMANN AG-Firmenlogo
Applikationsingenieur Automatisierungstechnik (m/w/d) Schwerpunkt Walzwerke ECKELMANN AG
Wiesbaden Zum Job 

„Wir geben den Menschen die Möglichkeit, sich selektiv auf die Textteile zu konzentrieren, die sie genauer untersuchen müssen“, erklärt Shannon Shen, Mitentwickler von SymGen. Das Ziel sei es, den Benutzenden mehr Vertrauen in die Antworten der KI zu geben, indem sie die zugrundeliegenden Daten leicht überprüfen können.

Wie funktioniert SymGen?

Das Tool hebt die Textstellen in einer KI-Antwort hervor, die direkt mit einer Datenquelle verknüpft sind. Dies ermöglicht den Benutzenden, schnell die Originaldaten einzusehen, die zur Generierung des Textes verwendet wurden. Gleichzeitig werden die nicht hervorgehobenen Teile der Antwort markiert, um anzuzeigen, dass diese Bereiche möglicherweise einer gründlicheren Überprüfung bedürfen.

„Letztendlich kann SymGen den Menschen mehr Vertrauen in die Antworten eines Modells geben, da sie einfach einen genaueren Blick darauf werfen können, um sicherzustellen, dass die Informationen verifiziert sind“, betont Shen. Durch diesen Ansatz verkürzt sich die Zeit für die Verifizierung um die bereits erwähnten 20 % im Vergleich zu herkömmlichen Methoden.

Symbolische Referenzen: Ein neuer Ansatz zur Validierung

Die Funktionsweise von SymGen basiert auf sogenannten symbolischen Referenzen. Bei der Generierung einer Antwort gibt das KI-Modell nicht nur den Text aus, sondern verweist auch auf die spezifische Zelle in einer Datenquelle, die die entsprechende Information enthält. Dies ermöglicht eine extrem präzise Verknüpfung zwischen den generierten Inhalten und den Originaldaten.

„Da wir diesen Zwischenschritt haben, bei dem der Text in einem symbolischen Format vorliegt, sind wir in der Lage, wirklich feinkörnige Referenzen zu haben“, erläutert Lucas Torroba Hennigen, Mitautor der Studie. Das bedeutet, dass für jede Textstelle genau nachverfolgt werden kann, woher die Informationen stammen.

SymGen löst diese symbolischen Referenzen schließlich auf, indem es den relevanten Text aus der Datenquelle direkt in die Antwort des Modells einfügt. So ist gewährleistet, dass die betreffenden Daten korrekt übernommen werden.

Vorteile und Grenzen von SymGen

Ein großer Vorteil von SymGen ist die Geschwindigkeit und Präzision, mit der Verifizierungen durchgeführt werden können. Die Studie zeigte, dass SymGen die Überprüfung von KI-generierten Inhalten wesentlich  schneller macht. Dies könnte insbesondere in zeitkritischen Bereichen wie dem Gesundheitswesen und der Finanzwelt von großem Nutzen sein.

Jedoch gibt es auch Einschränkungen. Die Qualität der Datenquellen ist entscheidend für die Zuverlässigkeit des Systems. Wenn das KI-Modell auf eine falsche Quelle zugreift, kann auch SymGen diesen Fehler nicht erkennen. Außerdem funktioniert das Tool bisher nur mit strukturierten Daten wie Tabellen, was den Anwendungsbereich einschränkt.

Zukünftige Entwicklungen

Die Forschenden planen, SymGen weiterzuentwickeln, um es mit verschiedenen Arten von Daten nutzbar zu machen. Ziel ist es, das Tool auch für die Verifizierung von freiem Text in Dokumenten einzusetzen. Dies könnte zum Beispiel helfen, juristische oder medizinische Texte effizient zu prüfen.

„Generative KI soll die Zeit, die der Benutzer für die Erledigung einer Aufgabe benötigt, verkürzen“, erklärt Shen. Mit Werkzeugen wie SymGen könnte dieses Ziel Realität werden, ohne die Genauigkeit der Ergebnisse zu gefährden.

Hier geht es zur Originalpublikation

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.