---

Kurzfassung

Die hier vorgestellte Erfindung beinhaltet die Methodik zur Generierung digitaler Zwillinge mithilfe neuronaler Netze und anschließender Nutzung zum Training autonomer Agenten via bestärkendem Lernen.

---

Hintergrund

Es existieren viele Industrie- und Haushaltssysteme, welche zur korrekten Arbeitsweise bestimmten Regelungsalgorithmen unterliegen. Ein System wird konstruiert, gebaut und anschließend für die Arbeitsaufgabe gesteuert und/oder geregelt. Je komplexer das System, desto umfangreicher und aufwändiger die Parametrierung der Regler. Des weiteren existieren im realen Arbeitsumfeld Umgebungseinflüsse, welche neben Fertigungstoleranzen Einfluss auf die Steuergüte haben, das zudem oft manuelle Parametrierungsverfahren ist teuer und zeitaufwändig.

---

Bilder & Videos

---

Problemstellung

Zuerst werden durch Standard Tests der zu steuernden Geräte Messwerte aufgenommen, welche das Systemverhalten wiederspiegeln (das passiert oft auf eigens dafür vorgesehenen Prüfständen). Mithilfe dieser Daten kann dann ein digitaler Zwilling erstellt werden. Ein neuronales Netzwerk ist in der Lage nichtlineare Zusammenhänge (Input/Output Variablen des Systems) virtuell abzubilden und anschließend als digitale Trainingsumgebung (digitaler Zwilling) für den bestärkenden Lernalgorithmus zur Verfügung zu stehen. Der zu trainierende Agent lernt letztendlich das steuern des Gerätes an dessen digitaler Kopie in extrem kurzer Zeit.

---

Lösung

Durch das generieren einer digitalen Kopie des zu steuernden Objektes lässt sich mit bestärkendem Lernen (reinforcement learning) ein autonom lernender Agent generieren, der die Steueraufgabe ohne menschliche Zuhilfenahme im Anschluss zu leisten vermag.

---

Vorteile

Aufgrund der schnellen, modernen Rechentechnik ist es möglich komplexe digitale Zwillinge zu erstellen, die das reale Umfeld nahezu perfekt wiedergeben. Vorteile zur Nutzung digitaler Kopien sind vor allem Havarie-Sicherheit und extrem schnelle Zustandsübergänge. Ein zu trainierender Agent kann an einem Tag mehrere Millionen Zustände am Computer via neuronaler Netze simulieren, aber wohl eher nur einige hundert bis tausend an einem realen Prüfstand. Dies spart Zeit, Testumgebungsressourcen und damit Geld. Es ist ähnlich zu Hardware-/Software in the Loop.

Des weiteren lernen Ansätze des bestärkenden Lernens wie Menschen auch, vor allem aus Fehlern. Solche dürfen am Prüfstand aber oft gar nicht erst passieren und so stellt die digitale Lernumgebung eine sichere Alternative dar.

Ein durch Messwerte erstellter digitaler Zwilling, lässt sich am Ende zusätzlich zur „predictive maintenance“ einsetzen, denn er speichert das ursprüngliche Systemverhalten.

---

Service

- erste Prototypen entwickelt, trainiert und am Prüfstand getestet

- Deutsche Patentanmeldung DE 10 2019 128 655.7

- Anmelder: Technische Universität Ilmenau

- Erfinder: M. Sc. Martin Schiele und Univ. Prof. Dr.-Ing. Klaus Augsburg