Tiefe neuronale Netze 15.01.2025, 10:13 Uhr

Einfachheit gewinnt: KI und Ockhams Rasiermesser

KI trifft auf Philosophie: DNNs nutzen ein natürliches „Ockhams Rasiermesser“, um effektiver aus Daten zu lernen und neue Muster zu erkennen.

Künstliche Intelligenz und neuronale Netze

Forschende haben herausgefunden, dass künstliche Intelligenz eine natürliche Art von "Ockhams Rasiermesser" nutzt.

Foto: PantherMedia / Jirsak

Künstliche Intelligenz (KI) ist mittlerweile ein zentraler Bestandteil moderner Technologie. Ein spannender Aspekt der KI-Forschung ist die Frage, warum und wie tiefe neuronale Netze (Deep Neural Networks = DNNs), die Grundlage vieler KI-Systeme, so effektiv aus Daten lernen. Eine neue Studie der Universität Oxford hat darauf eine Antwort geliefert: DNNs verfügen über ein eingebautes Prinzip von Ockhams Rasiermesser. Dieses Prinzip besagt, dass bei mehreren möglichen Erklärungen die einfachste vorzuziehen ist. Doch wie funktioniert diese „Neigung zur Einfachheit“ in der Praxis, und warum ist sie für DNNs so entscheidend?

Was ist Ockhams Rasiermesser?

Ockhams Rasiermesser ist ein philosophisches Prinzip, das auf den mittelalterlichen Theologen und Philosophen William von Ockham (ca. 1285–1347) zurückgeht. Es wird oft so interpretiert, dass unnötige Annahmen vermieden werden sollten, wenn eine Theorie oder Lösung entwickelt wird. In seiner einfachsten Form lautet das Prinzip: „Von mehreren möglichen Erklärungen ist die einfachste zu bevorzugen.“

Das Konzept basiert auf der Annahme, dass einfache Lösungen weniger anfällig für Fehler sind, da sie weniger Annahmen enthalten. Zudem erleichtert Einfachheit das Verständnis und die Reproduzierbarkeit von Modellen oder Theorien. In der Wissenschaft und Technik wird Ockhams Rasiermesser häufig angewandt, um zwischen konkurrierenden Hypothesen auszuwählen oder komplexe Systeme zu analysieren.

Stellenangebote im Bereich Softwareentwicklung

Softwareentwicklung Jobs
Netzgesellschaft Potsdam GmbH-Firmenlogo
Projektingenieur (m/w/d) Energietechnik - Umspannwerke/Hochspannungsfreileitung - Netzgesellschaft Potsdam GmbH
Potsdam Zum Job 
Albtal-Verkehrs-Gesellschaft mbH-Firmenlogo
Projektleiter*in Elektrotechnik Verkehrsanlagen (m/w/d) Elektroingenieur*in oder Techniker*in Albtal-Verkehrs-Gesellschaft mbH
Karlsruhe Zum Job 
Die Autobahn GmbH des Bundes Niederlassung Nordbayern-Firmenlogo
Ingenieur Elektrotechnik / Bauingenieur (w/m/d) Ladeinfrastruktur Die Autobahn GmbH des Bundes Niederlassung Nordbayern
Nürnberg Zum Job 
Bayerisches Staatsministerium für Wohnen, Bau und Verkehr-Firmenlogo
Traineeprogramm - Bachelor Fachrichtung Maschinenbau / Energie- und Gebäudetechnik (m/w/d) Bayerisches Staatsministerium für Wohnen, Bau und Verkehr
bayernweit Zum Job 
Bayerisches Staatsministerium für Wohnen, Bau und Verkehr-Firmenlogo
Traineeprogramm - Bachelor Fachrichtung Maschinenbau / Energie- und Gebäudetechnik (m/w/d) Bayerisches Staatsministerium für Wohnen, Bau und Verkehr
Nord-Micro GmbH & Co. OHGa part of Collins Aerospace-Firmenlogo
Projekt- / Produktingenieur (m/w/d) Nord-Micro GmbH & Co. OHGa part of Collins Aerospace
Frankfurt am Main Zum Job 
Fresenius Kabi-Firmenlogo
Instandhalter (m/w/d) Prozesstechnik - API Herstellung Fischöl Fresenius Kabi
Friedberg (Hessen) Zum Job 
B. Braun Melsungen AG-Firmenlogo
Project Manager (w/m/d) Pre-Development B. Braun Melsungen AG
Melsungen Zum Job 
Hamburger Stadtentwässerung AöR ein Unternehmen von HAMBURG WASSER-Firmenlogo
Ingenieur (m/w/d) Elektrotechnik als Projektleiter Hamburger Stadtentwässerung AöR ein Unternehmen von HAMBURG WASSER
Hamburg Zum Job 
THOST Projektmanagement GmbH-Firmenlogo
Wirtschaftsjurist*in / Ingenieur*in (m/w/d) für Contract & Claimsmanagement in Projektender Energiewende THOST Projektmanagement GmbH
Stuttgart, Mannheim Zum Job 
RES Deutschland GmbH-Firmenlogo
Head of Engineering / Leitung technische Planung Wind- & Solarparks (m/w/d) RES Deutschland GmbH
Vörstetten Zum Job 
MEWA Textil-Service SE & Co. Management OHG-Firmenlogo
Projektmanager (m/w/d) PMO Business Transformation MEWA Textil-Service SE & Co. Management OHG
Wiesbaden Zum Job 
MEWA Textil-Service SE & Co. Management OHG-Firmenlogo
Projektingenieur (m/w/d) Elektrotechnik MEWA Textil-Service SE & Co. Management OHG
Wiesbaden Zum Job 
KÜBLER GmbH-Firmenlogo
Techniker / Ingenieur / Fachplaner / TGA (m/w/d) Heizungstechnik und Elektro KÜBLER GmbH
Ludwigshafen Zum Job 
Christian-Albrechts-Universität zu Kiel-Firmenlogo
Ingenieur*in der Fachrichtung Versorgungstechnik / Maschinenbau oder Elektrotechnik Christian-Albrechts-Universität zu Kiel
WPW JENA GmbH-Firmenlogo
Projektingenieur Elektroplanung (m/w/d) WPW JENA GmbH
Jena, hybrides Arbeiten Zum Job 
Bundesamt für Bauwesen und Raumordnung-Firmenlogo
Ingenieurin/Ingenieur (w/m/d) für die Koordination der Fachrichtung Elektrotechnik bzw. Nachrichtentechnik Bundesamt für Bauwesen und Raumordnung
Schleifring GmbH-Firmenlogo
Projektingenieur (m/w/d) Key Account in der Elektronikbranche Schleifring GmbH
Fürstenfeldbruck Zum Job 
Niedersächsische Landesbehörde für Straßenbau und Verkehr-Firmenlogo
Sachbearbeiter Datenkommunikationstechnik (w/m/d) Niedersächsische Landesbehörde für Straßenbau und Verkehr
Hannover Zum Job 
ENGIE Deutschland GmbH-Firmenlogo
Sales Manager (m/w/d) Energieeffizienzprojekte ENGIE Deutschland GmbH
Stuttgart, Köln, Frankfurt Zum Job 

Ein Beispiel aus dem Alltag verdeutlicht das Prinzip: Wenn ein Auto nicht startet, könnte dies an einer leeren Batterie, einem defekten Anlasser oder einer Vielzahl anderer Probleme liegen. Laut Ockhams Rasiermesser würde man zuerst die einfachste Erklärung prüfen – beispielsweise, ob der Tank leer ist. In der KI spielt dieses Konzept eine wichtige Rolle, da Modelle mit übermäßiger Komplexität dazu neigen, schlecht zu generalisieren.

DNNs und ihre Präferenz für Einfachheit

Deep Neural Networks können theoretisch jede mögliche Funktion erlernen, die den Trainingsdaten entspricht. Die Studie zeigt jedoch, dass DNNs eine eingebaute Präferenz für einfache Funktionen besitzen. Diese Präferenz hilft ihnen, aus einer Vielzahl von Lösungen diejenigen auszuwählen, die nicht nur die Trainingsdaten erklären, sondern auch bei neuen, unbekannten Daten gut abschneiden.

Professor Ard Louis, der Leiter der Studie, erklärte: „Wir wussten, dass die Effektivität von DNNs auf einer Art induktiver Voreingenommenheit beruht. Doch wie genau dieses Prinzip funktioniert, war bisher unklar.“

Die Forschenden untersuchten, wie DNNs sogenannte Boolesche Funktionen erlernen. Diese grundlegenden Regeln der Informatik haben nur zwei mögliche Ergebnisse: wahr oder falsch. Dabei stellten sie fest, dass DNNs einfachere Regeln bevorzugen, die sich leicht beschreiben lassen. Dieses Verhalten spiegelt eine einzigartige Form von Ockhams Rasiermesser wider.

Ein Ausgleich von Komplexität

Ein spannendes Ergebnis der Studie ist, dass das Rasiermesser der DNNs die exponentielle Zunahme möglicher Lösungen mit steigender Systemgröße ausgleicht. Dies bedeutet, dass DNNs seltene, einfache Funktionen identifizieren, die sowohl für die Trainingsdaten als auch für neue Daten gut geeignet sind. Komplexere Funktionen, die zwar die Trainingsdaten perfekt erklären, aber bei neuen Daten versagen, werden vermieden.

Ein Beispiel: In der realen Welt folgen viele Daten einfachen Mustern. Diese Eigenschaft erleichtert es DNNs, robuste Vorhersagen zu treffen, ohne Gefahr zu laufen, sich zu stark auf die Trainingsdaten zu überanpassen.

Grenzen der Einfachheit

Trotz ihrer Präferenz für Einfachheit können DNNs an ihre Grenzen stoßen. Wenn Daten besonders komplex sind und keine einfachen Muster aufweisen, können sie schlechtere Ergebnisse liefern. In solchen Fällen ist ihre Leistung oft nicht besser als reines Raten.

Darüber hinaus zeigte die Studie, dass selbst kleine Änderungen im Lernprozess die Fähigkeit von DNNs erheblich beeinträchtigen können, einfache Funktionen zu generalisieren. Dies unterstreicht, wie wichtig die richtige Balance zwischen Einfachheit und Komplexität für den Erfolg dieser Netzwerke ist.

Was bedeutet das für die Praxis?

Die Ergebnisse der Studie bieten wertvolle Einblicke, wie DNNs effektiv lernen. Sie könnten dabei helfen, die „Black Box“ der KI besser zu verstehen. Aktuell ist es oft schwierig, die Entscheidungen von KI-Systemen nachzuvollziehen oder zu erklären. Mit einem besseren Verständnis der zugrunde liegenden Prinzipien könnte die Entwicklung erklärbarer KI-Systeme vorangetrieben werden.

Christopher Mingard, einer der Hauptautoren, betont: „Wir müssen über die Einfachheit hinausblicken und weitere Faktoren identifizieren, die die Leistung von DNNs beeinflussen.“

Verbindungen zur Natur

Interessanterweise gibt es Parallelen zwischen der Funktionsweise von DNNs und den Grundprinzipien der Natur. Die von der Studie entdeckte Tendenz zur Einfachheit erinnert an evolutionäre Prozesse, bei denen symmetrische Strukturen in Proteinen oder anderen Systemen bevorzugt werden. Diese Verbindung könnte neue Forschungsfelder öffnen und weitere Ähnlichkeiten zwischen Lernen und Evolution aufdecken.

Professor Louis fasste es so zusammen: „Die von uns beobachtete Tendenz zur Einfachheit könnte ein tieferes Prinzip widerspiegeln, das in der Struktur der Welt verankert ist.“

Hier geht es zur Originalpublikation

Ein Beitrag von:

  • Dominik Hochwarth

    Redakteur beim VDI Verlag. Nach dem Studium absolvierte er eine Ausbildung zum Online-Redakteur, es folgten ein Volontariat und jeweils 10 Jahre als Webtexter für eine Internetagentur und einen Onlineshop. Seit September 2022 schreibt er für ingenieur.de.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.