Deep Learning

Deep Learning.

Matching mit starren Regeln.

Für das berühmte Iris-Flower Dataset gibt es einige Deep Learning Implementierungen, die nach Training eines neuronalen Netzes sehr gute Klassifizierungs-Ergebnisse (Accuracy) liefern.

Aus konkretem Anlass habe ich mich mit einer Umsetzung in golang beschäftigt (Link zu github).

Bin darauf gestoßen, als ich nach Matching Algorithmen gesucht habe. Nicht für Dating-Dienste, sondern technische Anwendungen. In den bestehenden Matching-Implementierungen kamen starre Regelwerke (wenn … dann …) zum Tragen und an ihre Grenzen. Daher der Gedanke, wenn die zu Grunde liegenden Daten ähnliche Qualitäten wie das Iris-Flower Dataset haben, dann könnte das klappen.

Gesagt getan: bei den Irisblüten ging es um 4 Eigenschaften, die die Klassifizierung in 3 Arten erlauben. Insgesamt etwa 200 Datensätze, geteilt in Trainings- und Testdaten.

Hier liefert der Algorithmus – zwar nicht konstant – bis zu 97% Accuracy. Toll!

Und das mit einem einfachen Multi-Layer Netz mit einem Hidden Layer und im Hidden-  und im Output-Layer 3 Neuronen.

Bei meinem technischen Matching-Test geht es um 600 Arten und ca 20 Eigenschaften im einfachsten Fall. Im kompliziertesten Fall um 4096 Eigenschaften und über 1000 Arten.

Na ja. 

Habe zunächst nur den einfachen Fall betrachtet und versucht, meine Trainings- und Testdaten aus Spezifikationstabellen (keine Echtdaten) per Zufallsmatrix pro Eigenschaft zu generieren und nur mit 8 Arten und 6 Eigenschaften getestet. Ansonsten alle Parameter belassen: Epochen, Lernrate, …

Mehr als 60% Accuracy waren nicht drin. Auch sind die Ergebnisse extrem inkonsistent: mal 20%, oft 40-50% oder auch 60%. 

Nach einer Woche erst mal die Aufgabe an den Nagel gehängt. 

Bin sicher, dass es klappen kann. Aber mit mehr Know-how in golang, deep learning und vor allem: mit guten Trainingsdaten.

Was lernt man daraus? Meine TOP 5 Liste:

1. KI hat Grenzen, ich auch
2. Starre Regeln lösen (viele) Probleme, nicht alle
3. Deep learning klappt nur, wenn alles passt
4. Gute Trainingsdaten sind das A und O
5. Matching ist nicht einfach; weder beim Dating noch in der Physik