KI-basierte Symbol- und Texterkennung zur Automatisierung der Arbeitsplanung

Die Arbeitsplanung von Fertigungsaufträgen wird für mittelständische Unternehmen zunehmend zu einer Herausforderung. Insbesondere während der Phase der Angebotskalkulation muss schnell gehandelt werden, um ein Angebot vor Konkurrenten abgeben zu können.

Auf dem Weg zur schnelleren Bereitstellung von Angeboten: Automatisierte Vorschläge potentieller Arbeitspläne unterstützen eine rasche Entscheidungsfindung im Angebotsprozess. Grafik: IFW

Jedoch werden auch die Produkte immer komplexer. Ungenauigkeiten bei der Festlegung der benötigten Arbeitsschritte führen schnell zu signifikanten Preisabweichungen. Daher forscht das Institut für Fertigungstechnik und Werkzeugmaschinen (IFW) zusammen mit der Point 8 GmbH an einem Assistenzsystem. Ziel ist die Automatisierung der Arbeitsplanung im Angebotsprozess.

Informationsgewinnung im Angebotsprozess

Der Angebotsprozess in produzierenden Unternehmen umfasst die Schritte von der Kundenanfrage bis zum Angebot mit technischer Lösung. Beim Preisvorschlag sind der erwartete Produktionsaufwand und die Marktsituation zu berücksichtigen. Der Prozess untergliedert sich in die Phasen Angebotsvorbereitung, Angebotserstellung und Angebotsnachbereitung, wobei hier nur die Angebotserstellung betrachtet wird (vgl. Abbildung 1) [1]. Diese setzt sich zusammen aus der technischen Planung, der Terminplanung und der Berücksichtigung juristischer Aspekte. Die technische Planung, aus der ein Grobarbeitsplan hervorgeht, bildet die Grundlage für die Kalkulation der Selbstkosten. Anschließend bestimmt die Terminplanung die benötigten und vorhandenen Kapazitäten sowie Belegungszeiten.

Abbildung 1: Der Prozess in der Lohnfertigung von der Anfrage bis zum Angebot. Grafik: IFW

Da mehrere Anbieter Angebote für kundenspezifische Aufträge erstellen, entstehen insbesondere durch abgelehnte Angebote nicht wertschöpfende Aufwände. Ein erheblicher Teil des mehrstündigen Angebotsprozesses entfällt auf die Grobarbeitsplanung. Somit birgt ein Assistenzsystem zur Arbeitsplanerstellung großes Potenzial zur Kostenreduktion. Künstliche Intelligenz (KI) kann helfen, indem sie basierend auf Auftragsdaten automatisch einen potentiellen Arbeitsplan vorschlägt [2]. Allerdings sind relevante Fertigungsinformationen in der Lohnfertigung aktuell oft nur auf technischen Zeichnungen zu finden und nicht isoliert aus CAD-Modellen ersichtlich. Folglich kommt der Analyse von 2D-Dokumenten eine wichtige Rolle bei der Automatisierung der Arbeitsplanung zu. Durch die Identifizierung von Textelementen und Symbolen können relevante Informationen digital erfasst und sogar viele Jahre alte physische Papierausdrucke als Trainingsdaten für KI genutzt werden.

Symbol- und Texterkennung auf technischen Zeichnungen

Zur Text- und Symbolerkennung werden in der Literatur häufig Neuronale Netze (NN) eingesetzt [3]. Die entwickelte Methode zur Symbolerkennung im Projekt nutzt spezielle „Convolutional Neural Networks“ (CNNs). Das Ziel besteht darin, Symbole für Toleranzen möglichst unabhängig von der Herkunft und Beschaffenheit der technischen Zeichnung zu erkennen. Hierbei wird, wie in Abbildung 2 visualisiert, „Transfer Learning“ verwendet, um ein vor-trainiertes NN für die Bilderkennung auf neue, unbekannte Objekte umzuschulen.

Abbildung 2: Ablauf der kombinierten Text- und Symbolerkennung am Beispiel einer Parallelität. Grafik: IFW

Zum Trainieren des NN wurden künstliche Bilder generiert, auf denen Symbole für Form- und Lagetoleranzen zufällig platziert wurden. Die Erzeugung künstlicher technischer Zeichnungen ermöglicht dabei den Aufbau eines Modelles für mehrere Anwender der Symbolerkennung, ohne geistiges Eigentum zu gefährden. Das umtrainierte NN wird auf Segmente der zu analysierende Zeichnung angewendet und gibt die Koordinaten und die Klasse von erkannten Symbolen mit einer Konfidenzangabe aus.

Zur Texterkennung (hier „Optical Character Recogniton“ – OCR) wird zunächst die Auflösung der Datei durch Super-Resolution achtfach erhöht [4]. Um auch nicht horizontale Elemente zu erfassen, wird die Zeichnung rotiert und während jeder Einstellung „EasyOCR“ angewendet, um Teilbilder mit Texten auszuschneiden und zu analysieren. EasyOCR besteht aus einem Ensemble von vor-trainierten Modellen [5]. Durch die Kombination mehrerer Modelle erzielt es gute Ergebnisse bei der Erkennung von Textfragmenten in verschiedenen Sprachen und Schriftarten. Es kann daher bessere Ergebnisse als z.B. „KerasOCR“ liefern, das lediglich ein CNN nutzt. Abschließend werden die Koordinaten der erkannten Symbole mit denen der Texte abgeglichen, um hieraus Toleranzangaben abzuleiten. Die Methodik wird im Folgenden anhand eines Referenzszenarios validiert.

Gewonnene Erkenntnisse im Referenzszenario

Entscheidende Informationen für die Arbeitsplanung und die letztliche Preisbildung sind vor allem die Bauteilgeometrie, das Material, Toleranzen und die Oberflächenqualität. Zur Bewertung der Leistung der eingesetzten Modelle wurden 316 Toleranzsymbole auf 225 realen technischen Zeichnungen von Zerspanbauteilen aus der Luftfahrtindustrie untersucht. Zusätzlich finden sich 62 Wörter, Zahlen und Sonder-Angaben auf einem Analogiebauteil.

Abbildung 3: Trefferquote der Text- und Symbolerkennung im Anwendungsfall. Grafik: IFW

Wie in den Ergebnissen in Abbildung 3 zu sehen ist, werden Normen und Wörter mit 100 Prozent bzw. 90 Prozent richtig identifiziert. Dies äußert sich in einer sehr guten Trefferquote beim Auslesen des Zeichnungskopfes, in dem das Material, Daten und weitere Angaben zum Ersteller, Datumsangaben und Fertigungsvorschriften zu finden sind. Toleranzsymbole verzeichnen eine Trefferquote von 65 Prozent auf den realen Zeichnungen. Die Trefferquote variiert dabei stark zwischen den verschiedenen Toleranzsymbolen. Während fast alle Positionstoleranzen gefunden wurden (97 von 100), sind die Ergebnisse z.B. bei der Parallelität deutlich schlechter (10 von 24).

Die Detektionen und Klassifizierungen der Toleranzsymbole echter technischer Zeichnungen lassen sich anschließend verwenden, um die künstlich erzeugten technischen Zeichnungen zu überarbeiten und zu erweitern. So könnten die Trefferquoten erhöht werden. Dezimalzahlen und Sonder-Angaben stellen ebenfalls noch eine Herausforderung für die Texterkennung dar, während natürliche Zahlen zu 60 Prozent erkannt werden können. Sonderzeichen wie Gradzeichen und Rechenoperatoren werden durch die OCR im Testfall nicht zuverlässig erkannt. Eine Lösung kann ein Transferlernen analog zur Symbolerkennung sein, um die Zeichen in die Trainingsdaten zu integrieren.

Zusammenfassung und Ausblick

Der Beitrag zeigt, dass der Einsatz von Text- und Symbolerkennung auf technischen Zeichnungen eine entscheidende Rolle bei der Beschleunigung des Angebotsprozesses spielen kann. Sie ermöglicht es, Informationen und spezifische Anweisungen, die in den Zeichnungen enthalten sind, automatisiert zu erfassen und zu verarbeiten. Dies erleichtert unmittelbar die Tätigkeit der Arbeitsplanung, sodass mehr Zeit für die Angebotskalkulation komplexer Werkstücke zur Verfügung steht. Zudem können dringend benötigte Werkstückinformationen zu Geometrie, Materialien, Toleranzen und Oberflächenqualität aus Vergangenheitsdaten gewonnen werden. In Zukunft werden hieraus wertvolle Trainingsdaten für KI-Modelle in der Arbeitsplanung generiert. Bis dahin gilt es, es die Erkennungsgüte der Algorithmen zu verbessern und komplexere Informationen (wie z. B. Aufspannungen) zu ergänzen. Ein Fokus sollte zunächst auf die primären Kostentreiber gelegt werden.

Förderhinweis: Die Autoren danken dem Bundesministerium für Wirtschaft und Energie (BMWI) für die finanzielle Unterstützung im Rahmen des Forschungsvorhabens „KI-MAP-AutoPlan/ Automatisierte Bestimmung der Vorgabezeiten und der Arbeitsvorgangsfolge unter Berücksichtigung technologischer Zwangsfolgen“ (16KN080124).

Literatur

Wiendahl H.-P. & Wiendahl H.-H.: Betriebsorganisation für Ingenieure. 9. Aufl. Hanser-Verlag, München, 2019.
Hussong, M., Glatt, M., Rüdiger-Flore, P., Varshneya, S., Liznerski, P., Kloft, M. & Aurich, J. C.: Deep Learning zur Unterstützung der Arbeitsplanung. ZWF 116 (2021), Nr. 10, S. 648–651. DOI:10.1515/zwf-2021–0170.
Elyan, E.; Jamieson, L.; Ali-Gombe, A.: Deep learning for symbols detection and classification in engineering drawings. Neural Networks 129 (2020), 91–102. DOI: 10.1016/j.neunet.2020.05.025.
Lai, W.-S., Huang, J.-B., Ahuja, N., Yang, M.-H.: Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution. arXiv (2017). DOI: https://doi.org/10.48550/arXiv.1704.03915
JAIDED AI (2023, 31. Mai) EasyOCR. https://github.com/JaidedAI/EasyOCRen.