Deep Learning ist ein Teilgebiet des maschinellen Lernens, in dem mithilfe von Algorithmen beispielsweise Objekte und menschliche Sprache erkannt werden können. Grundlage bildet das Konzept der künstlichen neuronalen Netzwerke, definiert von Dr. Robert Hecht-Nielsen, dem Erfinder einer der ersten neuronalen Computer, als ein „Computersystem mit einer Vielzahl einfacher, stark vernetzter informationsverarbeitender Elemente, die Informationen in einer dynamischen Reaktion auf externe Eingangswerte verarbeiten“. Mit anderen Worten: Computersysteme, die die Funktionsweise des menschlichen Gehirns imitieren.
Die Geschichte von Deep Learning beginnt 1943, als Warren McCulloch und Walter Pitts ein Berechnungsmodell für neuronale Netzwerke, die sogenannte Threshold Logic, ausarbeiteten, die auf mathematischen Modellierungen beruht und ein erstes Konzept für ein künstliches Neuron darstellt. Ihr Paper mit dem Titel „A Logical Calculus of the Ideas Immanent in Nervous Activity“ ist das erste schriftliche Dokument zum Konzept des neuronalen Netzwerks.
Ein wichtiger Meilenstein wurde 1980 erreicht, als Kunihiko Fukushima das Neocognitron mit einem hierarchischen mehrschichtigen Netz entwickelte: Nun konnten Computer „lernen“, handschriftliche Zeichnen zu erkennen. Dieses Netzwerk bildete später auch die Grundlage für Convolutional Neural Networks, d. h. faltende neuronale Netzwerke. Diese wiederum ermöglichen Computer-Vision-Systeme, die in der Lage sind, verschiedene Objekte zu identifizieren.
1985 entwickelte der Neurowissenschaftler Terry Sejnowski das Programm NETtalk, das die Aussprache von englischen Wörtern wie ein Kleinkind lernt.
Den Backpropagation-Theorien und der Einführung der Long Short Term Memory Networks im Jahr 1997 folgten Verbesserungen bei der Formerkennung und der Wortvorhersage.
Der konkrete Begriff Deep Learning wurde Mitte der 2000er-Jahre bekannter, nachdem Geoffrey Hinton und Ruslan Salakhutdinov in einem Paper vorgestellt hatten, wie bei einem mehrschichtigen neuronalen Netz vorab jeweils eine einzelne Schicht trainiert werden kann. 2009 richtete Fei-Fei Li, Professorin für Computerwissenschaften in Stanford, eine riesige kostenfreie Online-Datenbank mit mehreren Millionen verschlagworteten Bildern ein, um damit neuronale Netzwerke zu trainieren. Sie selbst erklärt: Big Data verändert die Funktionsweise des maschinellen Lernens. Daten treiben den Lernprozess voran.“
Drei Jahre später wurde das sogenannte Cat Experiment durchgeführt: Zehn Millionen nicht beschriftete Bilder, die nach dem Zufallsprinzip aus YouTube ausgewählt worden waren, wurden einem neuronalen Netzwerk auf tausenden Computern präsentiert. Am Ende hatte das Netzwerk selbst gelernt, Katzen auf nicht beschrifteten Bildern zu erkennen. Die Erfolgsquote lag zwar nur bei rund 15 %, doch mit diesem Experiment wurde der Begriff Deep Learning zu einem Buzzword.
Innerhalb von zwei Jahren waren die neuronalen Netzwerke von DeepFace in der Lage, in 97,35 % der Fälle Gesichter zu erkennen. Die Forschung im Bereich Deep Learning legte deutlich an Tempo zu und wurde zusammen mit Künstlicher Intelligenz schnell ein immer wichtigerer Trend in der Geschäftswelt
Laut dem Marktforschungsunternehmen Stratistics MRC dürfte der Deep-Learning-Markt bis 2023 ein Volumen von USD 72 Mrd. erreichen. Hauptanwendungsgebiete werden dabei Data-Mining, Bild- und Spracherkennung, Videodiagnostik, Chatbots und Autonomes Fahren sein.
