Dynamik und adaptive Dekomposition lernender Netzwerke (DADLN)

Vom BMWF gefördertes Einzelvorhaben der HAW Hamburg zum Förderaufruf “Erklärbarkeit und Transparenz des Maschinellen Lernens und der Künstlichen Intelligenz”

Maschinelle Lernverfahren und insbesondere künstliche neuronale Netzwerke (KNNs) werden in immer mehr wissenschaftlichen und technischen Kontexten zum Treffen von datenbasierten Entscheidungen eingesetzt. Häufig kommen dabei populäre Softwarepakete zum Einsatz und treffen auf Nutzer mit Vorwissen im Kontext des verwendeten Datensatzes, aber mit wenig Wissen über KNNs. Die Software wird als Black-Box angewandt und die Ergebnisse durch Versuch und Irrtum verbessert. Dieses Vorgehen ist häufig nicht nur wenig erfolgversprechend, es widerspricht auch dem wissenschaftlichen Anspruch, dass Methoden und Ergebnisse nachvollziehbar sein sollten.

 

In diesem Projekt werden zwei Ansätze zum besseren Verständnis und gleichzeitig zur Performancesteigerung von lernenden Netzwerken verfolgt. Im ersten Teilprojekt untersuchen wir den Lernprozess von KNNs, in dem wir das lernende Netzwerk als dynamisches System auffassen und beschreiben. Die Dynamik besteht dabei aus der schrittweisen Änderung der Gewichte des Netzwerkes und/oder durch zusätzliche zeitliche Dynamik der lernenden Einheiten. Dynamische Systeme lassen sich durch verschiedene Kenngrößen und Methoden charakterisieren, wie zum Beispiel Angaben zur lokalen und globalen Stabilität. In dynamischen Systemen sind insbesondere das Wachstum von Störungen, sowie die Richtungen, entlang denen sich diese Störungen ausbreiten, oder schrumpfen interessant. Eine offene Frage ist, ob und wie sich der Lernprozess eines hochdimensionalen dynamischen Systems verändert (verbessert, beschleunigt), wenn man das System in einzelnen Lernphasen gezielt mit Störungen entlang dieser stabilen oder instabilen Richtungen beeinflusst.

 

Im zweiten Teilprojekt setzten wir adaptive Dekompositionsmethoden ein, um ein großes Optimierungsproblem zum Lernen der Gewichte eines KNNs in kleinere Aufgabenstellungen zu zerlegen, siehe Abbildung 2. Hochdimensionale große Datensätze aus Anwendungen erfordern hochdimensionale KNNs, deren Verhalten weder im Verlauf des Trainings, noch im Einsatz zur Entscheidungsfindung nachvollziehbar ist. Durch die Zerlegung in kleinere Aufgabenstellungen kann die Nachvollziehbarkeit von hochdimensionalen KNNs besser untersucht werden und zusätzlich die Geschwindigkeit des Lernverfahrens erhöht werden. Eine wesentliche offene Frage ist, welche Zerlegung die besten Resultate liefert. Das soll in diesem Projekt untersucht werden. Unter anderem sollen Zerlegungsstrategien durch die im ersten Teilprojekt entwickelte Störungsanalyse analysiert werde.

 

 

Department Maschinenbau und Produktion
Berliner Tor 21, Raum 412
20099 Hamburg
T +49 40 428 75-8783
sarah.hallerberg@haw-hamburg.de
Department Maschinenbau und Produktion
Berliner Tor 21, Raum 410
20099 Hamburg
T +49 40 428 75-8789
ivo.nowak@haw-hamburg.de
Name Funktion Adresse Kontakt
Prof. Dr. Sarah Hallerberg

Department Maschinenbau und Produktion
Berliner Tor 21,
Raum 412
20099 Hamburg
sarah.hallerberg@haw-hamburg.de
T +49 40 428 75-8783
Prof. Dr. Ivo Nowak

Department Maschinenbau und Produktion
Berliner Tor 21,
Raum 410
20099 Hamburg
ivo.nowak@haw-hamburg.de
T +49 40 428 75-8789