Künstliche Intelligenz 30.08.2023, 07:00 Uhr

Avatar ermöglicht gelähmter Frau das Sprechen

Amerikanische Forschende haben eine Gehirn-Computer-Schnittstelle (BCI) entwickelt, die Gehirnsignale aufnimmt und übersetzt. Ein Avatar überträgt die Signale in reale Sprache und imitiert die Mimik. Diese künstliche Intelligenz könnte ein Durchbruch für viele erkrankte Menschen sein.

Avatar und Patientin

Der Avatar spricht und zeigt auch die Mimik, die im Gehirn der Patientin entsteht.

Foto: Noah Berger

Moderne Technologien eröffnen interessante Möglichkeiten, um Menschen mit körperlichen Einschränkungen zu unterstützen. Neben Exoskeletten bieten Gehirn-Computer-Schnittstellen großes Potenzial. Diesen Ansatz haben auch Wissenschaftler und Wissenschaftlerinnen an den Universitäten of California in San Francisco (UCSF) und Berkeley verfolgt. Ihre Ergebnisse sind vielversprechend: Eine Patientin, die nach einem Hirnstamm-Schlaganfall schwer gelähmt war, konnte dank eines digitalen Avatars wieder sprechen.

Nach Angabe der Forschenden ist es zum ersten Mal überhaupt in dieser Form gelungen, Sprache oder Gesichtsausdrücke aus Gehirnsignalen zu synthetisieren. Die künstliche Intelligenz (KI) sei zudem in der Lage, diese Signale mit einer Geschwindigkeit von fast 80 Wörtern pro Minute in Text zu dekodieren, was eine enorme Verbesserung gegenüber handelsüblichen Technologien darstelle. Das Team hofft, schon bald ein System vorstellen zu können, das als offizielles medizinisches Hilfsmittel zugelassen wird.

Neurologische Erkrankungen mit KI und VR besser erkennen und behandeln

Künstliche Intelligenz imitiert zusätzlich die Mimik

„Unser Ziel ist es, eine vollständige, verkörperte Art der Kommunikation wiederherzustellen, die für uns die natürlichste Art ist, mit anderen zu sprechen“, sagt Edward Chang, Professor für neurologische Chirurgie an der UCSF, der seit mehr als einem Jahrzehnt an dieser als Brain Computer Interface (BCI) bezeichneten Technologie arbeitet.

Stellenangebote im Bereich Softwareentwicklung

Softwareentwicklung Jobs
TenneT TSO GmbH-Firmenlogo
Site Manager (m/w/d) Wilhelmshaven TenneT TSO GmbH
Hannover, Wilhelmshaven Zum Job 
VIVAVIS AG-Firmenlogo
Sales Manager (m/w/d) Industrie VIVAVIS AG
Ettlingen Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
EMSCHERGENOSSENSCHAFT und LIPPEVERBAND-Firmenlogo
Gruppenleiter*in Elektrotechnik (m/w/d) EMSCHERGENOSSENSCHAFT und LIPPEVERBAND
Hamburger Hochbahn AG-Firmenlogo
Senior - Projektleiter Elektrotechnik Betriebsanlagen (w/m/d) Hamburger Hochbahn AG
Hamburg Zum Job 
3M Deutschland GmbH-Firmenlogo
Senior Capital Project Manager (m/f/d) 3M Deutschland GmbH
Kromberg & Schubert GmbH & Co.KG-Firmenlogo
Entwicklungsingenieur | Schaltplan (m/w/d) Kromberg & Schubert GmbH & Co.KG
Renningen bei Stuttgart Zum Job 
FCP Ingenieure Deutschland GmbH-Firmenlogo
BIM-Modeller Infrastruktur (m/w/d) FCP Ingenieure Deutschland GmbH
IMS Röntgensysteme GmbH-Firmenlogo
Entwicklungsingenieur (m/w/i) für digitale Inspektionssysteme IMS Röntgensysteme GmbH
Heiligenhaus Zum Job 
TGM Kanis Turbinen GmbH-Firmenlogo
Vertriebsingenieur (m/w/d) Bereich Service TGM Kanis Turbinen GmbH
Nürnberg Zum Job 
ENGIE Deutschland GmbH-Firmenlogo
Sales Manager (m/w/d) Energieeffizienzprojekte ENGIE Deutschland GmbH
Stuttgart, Köln, Frankfurt Zum Job 
HygroMatik GmbH-Firmenlogo
Junior Entwicklungsingenieur für Hard- und Softwarelösungen (m/w/d) HygroMatik GmbH
Henstedt-Ulzburg Zum Job 
HAMBURG WASSER-Firmenlogo
Ingenieur für Automatisierungstechnik Wasserwerke (m/w/d) HAMBURG WASSER
Hamburg-Rothenburgsort Zum Job 
Bundesbau Baden-Württemberg-Firmenlogo
Trainees Bundesbau Baden-Württemberg (w/m/d) Bundesbau Baden-Württemberg
verschiedene Standorte Zum Job 
3M Deutschland GmbH-Firmenlogo
Automatisierungsingenieur (m/w/*) 3M Deutschland GmbH
Hilden, hybrid Zum Job 
TenneT-Firmenlogo
Asset Spezialist elektrische Eigenbedarfssysteme HVDC-Anlagen (m/w/d) TenneT
Lehrte, Bayreuth Zum Job 
Forschungszentrum Jülich GmbH-Firmenlogo
Teamleiter:in - Integrierte Ressourcenbewertung (w/m/d) Forschungszentrum Jülich GmbH
Jülich bei Köln Zum Job 
Strahlenschutzausbildung Jülich e.V.-Firmenlogo
Leiter:in (fachlich und organisatorisch) der Strahlenschutzkursstätte in Jülich (w/m/d) Strahlenschutzausbildung Jülich e.V.
Jülich Zum Job 
EMSCHERGENOSSENSCHAFT und LIPPEVERBAND-Firmenlogo
Ingenieur*in (m/w/d) im Bereich der Elektrotechnik EMSCHERGENOSSENSCHAFT und LIPPEVERBAND
Omexom GA Nord GmbH-Firmenlogo
Business Unit Leiter (m/w/d) Omexom GA Nord GmbH
Dresden Zum Job 
TenneT TSO GmbH-Firmenlogo
Site Manager (m/w/d) Wilhelmshaven TenneT TSO GmbH
Hannover, Wilhelmshaven Zum Job 
VIVAVIS AG-Firmenlogo
Sales Manager (m/w/d) Industrie VIVAVIS AG
Ettlingen Zum Job 
RHEINMETALL AG-Firmenlogo
Verstärkung für unsere technischen Projekte im Bereich Engineering und IT (m/w/d) RHEINMETALL AG
deutschlandweit Zum Job 
EMSCHERGENOSSENSCHAFT und LIPPEVERBAND-Firmenlogo
Gruppenleiter*in Elektrotechnik (m/w/d) EMSCHERGENOSSENSCHAFT und LIPPEVERBAND

Das Team von Chang hatte bereits bei einem Patienten, der ebenfalls vor vielen Jahren einen Hirnstamm-Schlaganfall erlitten hatte, gezeigt, dass es möglich ist, Gehirnsignale in Text zu übersetzen. Die aktuelle Studie geht aber einen großen Schritt weiter. Die Wissenschaftler und Wissenschaftlerinnen haben dank ihrer Computer-Schnittstelle die Gehirnsignale nicht nur in Worte umgewandelt, sondern zusätzlich die entsprechende Mimik animiert.

Individuelles Training für die künstliche Intelligenz

Chang implantierte dafür ein hauchdünnes Rechteck aus 253 Elektroden auf der Oberfläche des Gehirns der Patientin, und zwar in Bereichen, die nach den Erkenntnissen seines Teams für das Sprechen entscheidend sind. Die Elektroden fingen die Gehirnsignale ab, die eigentlich zu den Muskeln in ihrer Zunge, ihrem Kiefer und ihrem Kehlkopf sowie zu ihrem Gesicht gelangt wären – durch die Schlaganfall-Folgen war das jedoch nicht mehr möglich. Ein Kabel, das in einen an ihrem Kopf befestigten Anschluss eingesteckt wurde, verband die Elektroden mit einer Reihe von Computern.

Wochenlang arbeitete die Teilnehmerin mit dem Team zusammen, um die Algorithmen der künstlichen Intelligenz (KI) des Systems darauf zu trainieren, ihre einzigartigen Gehirnsignale für Sprache zu erkennen. Dazu wiederholte sie verschiedene Sätze aus einem Vokabular mit 1.024 Wörtern immer wieder, bis der Computer die mit den Lauten verbundenen Gehirnaktivitätsmuster erkannte.

Basis für die Worterkennung der KI sind Phoneme

Anstatt die KI darauf zu trainieren, ganze Wörter zu erkennen, haben die Forschenden ein System entwickelt, das Wörter aus Phonemen entschlüsselt. Dies sind die Untereinheiten der Sprache, die gesprochene Wörter auf dieselbe Weise bilden wie Buchstaben geschriebene Wörter. „Hallo“ zum Beispiel besteht aus vier Phonemen: „HH“, „AH“, „L“ und „OW“. Mit diesem Ansatz musste der Computer nur 39 Phoneme lernen, um ein beliebiges englisches Wort zu entziffern. Dies verbesserte die Genauigkeit des Systems und machte es dreimal schneller.

Industrie im Metaverse: Ist der Avatar schon da?

„Die Genauigkeit, die Geschwindigkeit und der Wortschatz sind entscheidend“, sagt Sean Metzger, Doktorand am gemeinsamen Bioengineering-Programm der UC Berkeley und der UCSF sind. „Das gibt dem Benutzer die Möglichkeit, mit der Zeit fast so schnell zu kommunizieren wie wir, und viel natürlichere und normalere Gespräche zu führen.“

Künstliche Intelligenz soll bald drahtlos angesteuert werden

Um die Stimme zu erzeugen, entwickelte das Team einen Algorithmus zur Sprachsynthese. Da ein Video mit einer Rede der Patientin vorlag, konnte das Programm so angepasst werden, dass die Stimme wie ihre eigene vor dem Schlaganfall klang. Schließlich animierte das Team den Avatar mithilfe einer Software so, dass er die Muskelbewegungen des Gesichts simuliert. Insgesamt werden also die Verbindungen zwischen dem Gehirn und dem Vokaltrakt ausgeglichen, die durch den Schlaganfall unterbrochen wurden.

Im nächsten Schritt möchte das Team eine drahtlose Version entwickeln, damit die Benutzenden nicht mehr physisch mit dem BCI verbunden sein müssen.

Mehr lesen zum Potenzial künstlicher Intelligenz:

 

Ein Beitrag von:

  • Nicole Lücke

    Nicole Lücke macht Wissenschaftsjournalismus für Forschungszentren und Hochschulen, berichtet von medizinischen Fachkongressen und betreut Kundenmagazine für Energieversorger. Sie ist Gesellschafterin von Content Qualitäten. Ihre Themen: Energie, Technik, Nachhaltigkeit, Medizin/Medizintechnik.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.