Schnelle Validierung 23.10.2024, 12:20 Uhr

Halluziniert die KI? Neues Tool ermöglicht genaue Überprüfung

Das neue Tool „SymGen“ ermöglicht schnellere Verifizierung von KI-Texten, reduziert Fehler und stärkt das Vertrauen in KI-Ergebnisse durch gezielte Quellenprüfung.

halluzinierende KI

Nicht selten fängt generative KI an zu halluzinieren. Ein neues Tool soll dabei helfen zu erkennen, wenn die künstliche Intelligenz Quatsch erzählt.

Foto: PantherMedia / bestforbest (YAYMicro

Ein neues Tool namens SymGen, entwickelt von Forschenden des MIT, soll helfen, die Genauigkeit von KI-generierten Texten zu überprüfen. Es beschleunigt den Verifizierungsprozess, indem es Benutzenden erlaubt, gezielt Datenquellen zu identifizieren, auf die sich die KI stützt. Dies reduziert die Zeit für die Überprüfung um 20 %. Das Tool könnte die Zuverlässigkeit von KI-Anwendungen in Bereichen wie Gesundheitswesen und Finanzen erhöhen.

Künstliche Intelligenz und Halluzinationen: Was ist das Problem?

Trotz ihrer Fähigkeiten bleibt die künstliche Intelligenz (KI) nicht frei von Fehlern. Insbesondere große Sprachmodelle (LLMs) neigen dazu, „Halluzinationen“ zu haben. Diese Halluzinationen treten auf, wenn die KI falsche oder ungesicherte Informationen liefert.  Das ist problematisch, besonders in Bereichen, die hohe Genauigkeit erfordern, wie etwa im Gesundheitswesen oder im Finanzsektor. Um das Vertrauen in die KI zu stärken, wird deshalb häufig eine nachträgliche Prüfung durch Menschen nötig.

Die manuelle Überprüfung von KI-generierten Inhalten ist jedoch ein zeitraubender und fehleranfälliger Prozess. Häufig müssen Prüfer lange Dokumente durchsehen, die von der KI zitiert werden, um sicherzustellen, dass die Informationen korrekt sind. Dieser Aufwand schreckt viele Menschen ab, die generative KI-Systeme für ihre Arbeit zu nutzen. Die Folge: Das Potenzial der Technologie bleibt oft ungenutzt.

Neues Tool hilft bei der Faktenprüfung

Um die menschliche Überprüfung zu vereinfachen, hat ein Forschungsteam des MIT ein neues Tool entwickelt: SymGen. Dieses System ermöglicht eine schnellere Verifizierung der Antworten eines Sprachmodells. Das Tool funktioniert, indem es Quellenangaben direkt in die Antworten der KI integriert. So können Benutzende genau nachvollziehen, auf welche Daten sich die KI stützt.

Stellenangebote im Bereich Softwareentwicklung

Softwareentwicklung Jobs
Stadtwerke Schneverdingen-Neuenkirchen GmbH-Firmenlogo
Netzplaner (m/w/d) Stadtwerke Schneverdingen-Neuenkirchen GmbH
Schneverdingen-Neuenkirchen Zum Job 
TenneT TSO GmbH-Firmenlogo
Ingenieur als Projektleiter Leitungsbau (m/w/d) TenneT TSO GmbH
HygroMatik GmbH-Firmenlogo
Junior Entwicklungsingenieur für Hard- und Softwarelösungen (m/w/d) HygroMatik GmbH
Henstedt-Ulzburg Zum Job 
HAMBURG WASSER-Firmenlogo
Ingenieur für Automatisierungstechnik Wasserwerke (m/w/d) HAMBURG WASSER
Hamburg-Rothenburgsort Zum Job 
Bundesbau Baden-Württemberg-Firmenlogo
Trainees Bundesbau Baden-Württemberg (w/m/d) Bundesbau Baden-Württemberg
verschiedene Standorte Zum Job 
3M Deutschland GmbH-Firmenlogo
Automatisierungsingenieur (m/w/*) 3M Deutschland GmbH
Hilden, hybrid Zum Job 
TenneT-Firmenlogo
Asset Spezialist elektrische Eigenbedarfssysteme HVDC-Anlagen (m/w/d) TenneT
Lehrte, Bayreuth Zum Job 
Forschungszentrum Jülich GmbH-Firmenlogo
Teamleiter:in - Integrierte Ressourcenbewertung (w/m/d) Forschungszentrum Jülich GmbH
Jülich bei Köln Zum Job 
Strahlenschutzausbildung Jülich e.V.-Firmenlogo
Leiter:in (fachlich und organisatorisch) der Strahlenschutzkursstätte in Jülich (w/m/d) Strahlenschutzausbildung Jülich e.V.
Jülich Zum Job 
EMSCHERGENOSSENSCHAFT und LIPPEVERBAND-Firmenlogo
Ingenieur*in (m/w/d) im Bereich der Elektrotechnik EMSCHERGENOSSENSCHAFT und LIPPEVERBAND
Omexom GA Nord GmbH-Firmenlogo
Business Unit Leiter (m/w/d) Omexom GA Nord GmbH
Dresden Zum Job 
TenneT TSO GmbH-Firmenlogo
Site Manager (m/w/d) Wilhelmshaven TenneT TSO GmbH
Hannover, Wilhelmshaven Zum Job 
VIVAVIS AG-Firmenlogo
Sales Manager (m/w/d) Industrie VIVAVIS AG
Ettlingen Zum Job 
VIVAVIS AG-Firmenlogo
Sales Manager (m/w/d) Metering VIVAVIS AG
Berlin, Homeoffice Zum Job 
Haus der Technik e.V.-Firmenlogo
Fachdozent/in und Berater/in (m/w/d) für Krane und Hebezeuge in der Weiterbildung Haus der Technik e.V.
THU Technische Hochschule Ulm-Firmenlogo
W2-Professur Technische Informatik THU Technische Hochschule Ulm
über ifp | Executive Search. Management Diagnostik.-Firmenlogo
Teamleiter:in Mechanical & Electrical Engineering über ifp | Executive Search. Management Diagnostik.
Emlichheim Zum Job 
IMS Messsysteme GmbH-Firmenlogo
Systemingenieur (m/w/i) für Oberflächeninspektion IMS Messsysteme GmbH
Heiligenhaus Zum Job 
ZVEI e.V.-Firmenlogo
Manager/in Automation (w/m/d) ZVEI e.V.
Frankfurt am Main Zum Job 
Evos Hamburg GmbH-Firmenlogo
Betriebsingenieur EMSR (m/w/d) Evos Hamburg GmbH
Hamburg Zum Job 
Stadtwerke Schneverdingen-Neuenkirchen GmbH-Firmenlogo
Netzplaner (m/w/d) Stadtwerke Schneverdingen-Neuenkirchen GmbH
Schneverdingen-Neuenkirchen Zum Job 
TenneT TSO GmbH-Firmenlogo
Ingenieur als Projektleiter Leitungsbau (m/w/d) TenneT TSO GmbH
HygroMatik GmbH-Firmenlogo
Junior Entwicklungsingenieur für Hard- und Softwarelösungen (m/w/d) HygroMatik GmbH
Henstedt-Ulzburg Zum Job 
HAMBURG WASSER-Firmenlogo
Ingenieur für Automatisierungstechnik Wasserwerke (m/w/d) HAMBURG WASSER
Hamburg-Rothenburgsort Zum Job 

„Wir geben den Menschen die Möglichkeit, sich selektiv auf die Textteile zu konzentrieren, die sie genauer untersuchen müssen“, erklärt Shannon Shen, Mitentwickler von SymGen. Das Ziel sei es, den Benutzenden mehr Vertrauen in die Antworten der KI zu geben, indem sie die zugrundeliegenden Daten leicht überprüfen können.

Wie funktioniert SymGen?

Das Tool hebt die Textstellen in einer KI-Antwort hervor, die direkt mit einer Datenquelle verknüpft sind. Dies ermöglicht den Benutzenden, schnell die Originaldaten einzusehen, die zur Generierung des Textes verwendet wurden. Gleichzeitig werden die nicht hervorgehobenen Teile der Antwort markiert, um anzuzeigen, dass diese Bereiche möglicherweise einer gründlicheren Überprüfung bedürfen.

„Letztendlich kann SymGen den Menschen mehr Vertrauen in die Antworten eines Modells geben, da sie einfach einen genaueren Blick darauf werfen können, um sicherzustellen, dass die Informationen verifiziert sind“, betont Shen. Durch diesen Ansatz verkürzt sich die Zeit für die Verifizierung um die bereits erwähnten 20 % im Vergleich zu herkömmlichen Methoden.

Symbolische Referenzen: Ein neuer Ansatz zur Validierung

Die Funktionsweise von SymGen basiert auf sogenannten symbolischen Referenzen. Bei der Generierung einer Antwort gibt das KI-Modell nicht nur den Text aus, sondern verweist auch auf die spezifische Zelle in einer Datenquelle, die die entsprechende Information enthält. Dies ermöglicht eine extrem präzise Verknüpfung zwischen den generierten Inhalten und den Originaldaten.

„Da wir diesen Zwischenschritt haben, bei dem der Text in einem symbolischen Format vorliegt, sind wir in der Lage, wirklich feinkörnige Referenzen zu haben“, erläutert Lucas Torroba Hennigen, Mitautor der Studie. Das bedeutet, dass für jede Textstelle genau nachverfolgt werden kann, woher die Informationen stammen.

SymGen löst diese symbolischen Referenzen schließlich auf, indem es den relevanten Text aus der Datenquelle direkt in die Antwort des Modells einfügt. So ist gewährleistet, dass die betreffenden Daten korrekt übernommen werden.

Vorteile und Grenzen von SymGen

Ein großer Vorteil von SymGen ist die Geschwindigkeit und Präzision, mit der Verifizierungen durchgeführt werden können. Die Studie zeigte, dass SymGen die Überprüfung von KI-generierten Inhalten wesentlich  schneller macht. Dies könnte insbesondere in zeitkritischen Bereichen wie dem Gesundheitswesen und der Finanzwelt von großem Nutzen sein.

Jedoch gibt es auch Einschränkungen. Die Qualität der Datenquellen ist entscheidend für die Zuverlässigkeit des Systems. Wenn das KI-Modell auf eine falsche Quelle zugreift, kann auch SymGen diesen Fehler nicht erkennen. Außerdem funktioniert das Tool bisher nur mit strukturierten Daten wie Tabellen, was den Anwendungsbereich einschränkt.

Zukünftige Entwicklungen

Die Forschenden planen, SymGen weiterzuentwickeln, um es mit verschiedenen Arten von Daten nutzbar zu machen. Ziel ist es, das Tool auch für die Verifizierung von freiem Text in Dokumenten einzusetzen. Dies könnte zum Beispiel helfen, juristische oder medizinische Texte effizient zu prüfen.

„Generative KI soll die Zeit, die der Benutzer für die Erledigung einer Aufgabe benötigt, verkürzen“, erklärt Shen. Mit Werkzeugen wie SymGen könnte dieses Ziel Realität werden, ohne die Genauigkeit der Ergebnisse zu gefährden.

Hier geht es zur Originalpublikation

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.