Skip to main content

Structuring Autoencoders for Sparsely Supervised Labeling


Kurzfassung

Die Erfindung betrifft ein Verfahren für das kostengünstige und zeiteffiziente Labeln bzw. Klassifizieren von Daten in neuronalen Netzwerken, einsetzbar u. a. in der Informations- und Kommunikationstechnik z.B. auf den Gebieten Bild- und Datenverarbeitung, Mustererkennung, Spracherkennung sowie in der Steuerungs- und Regelungstechnik.


Hintergrund

Die Erzeugung von gelabelten Daten ist extrem kostenintensiv und fehleranfällig. Die Nutzung von z.B. Amazon Mechanical Turk erfordert eine genaue Überprüfung der Labelergebnisse, automatisiertes Nachlabeln und Filtern brauchbarer Ergebnisse.


Bilder & Videos


Problemstellung

Es ist nicht immer klar, welche Daten am besten gelabelt werden sollten. Für einen Maschine-Learning-Algorithmus ist es z.B. wichtig, möglichst "extreme" Beispiele eines Zustandsraums zu erhalten, um den Raum der Möglichkeiten am besten erfassen und repräsentieren zu können. Andernfalls entsteht eine Stichprobenverzerrung.


Lösung

Wichtiger als die Menge der Daten ist die Qualität dieser. Daher sind automatisierte Algorithmen, die selber Anfragen können, welche Daten gelabelt werden sollen, wirtschaftlich von besonderem Interesse. Das erfindungsgemäße Verfahren „Structuring AutoEncoder“ (SAE) ist eine Lösung für genau dieses Problem (neben einigen anderen Aspekten). SAEs sind neuronale Netze, die mit einer geringen Menge Daten trainiert werden und wahlweise mit vorgegebenen Labeln eine gewünschte Struktur im latenten Raum bilden. Dabei gibt es zwei erfindungsgemäße Verlustfunktionen, die zum Einen den Rekonstruktionsfehler und zum Anderen den strukturellen Verlust der Daten im latenten Raum optimieren. Somit wird hier eine semantisch strukturierte, niederdimensionale Darstellung von Daten ermöglicht.


Vorteile

  • Kosten- und zeiteffizientes Labeln/ Klassifizieren von Daten
  • Verringerung der Anzahl erforderlicher Trainingszyklen
  • Optimierung von Autoencodern bspw. bzgl. der Klassifizierungsmöglichkeiten

Anwendungsbereiche

Bild- und Datenverarbeitung, Mustererkennung, Steuerungs- und Regelungstechnik, Spracherkennung, Maschinen- und Anlagenbau.


Service

Lizenz zur gewerblichen Nutzung / Kooperation möglich.


EZN Erfinderzentrum Norddeutschland GmbH

M. Sc. Niklas Deutsch
0511 850 308-0
n.deutsch@ezn.de
www.ezn.de
Adresse
Theaterstraße 2
30159 Hannover



Entwicklungsstand

Funktionsnachweis


Patentsituation

  • WO anhängig

Stichworte

(deep) neural network, autoencoder, classification, label, latent space, loss function, reconstruction error, sparsely, stacked, structure

Angebot Anbieter-Website


Kontakt | Geschäftsstelle

TransferAllianz e. V.
Christiane Bach-Kaienburg
(Geschäftsstellenleiterin)

c/o PROvendis GmbH
Schloßstr. 11-15
D-45468 Mülheim an der Ruhr