Hinweis zum Urheberrecht
Monographie zugänglich unter
URL: https://epub.sub.uni-hamburg.de/epub/volltexte/campus/2015/39715/
Mustererkennung mit Neokognitron und Anwendungen
Privenau, Raoul
| pdf-Format:
|
|
| Dokument 1.pdf (7.122 KB)
|
|
| Zugriffsbeschränkung: |
| nur innerhalb des Universitäts-Campus |
| SWD-Schlagwörter: |
| Netz , Simulation |
| BK - Klassifikation: |
| 54.72 |
| DDC-Sachgruppe: |
| Technik |
| Dokumentart: |
| Monographie |
| Sprache: |
| Deutsch |
| Erstellungsjahr: |
| 2011 |
| Publikationsdatum: |
| 16.04.2015 |
| Kurzfassung auf Deutsch: |
| Einleitung: Das menschliche Gehirn empfängt eine Fülle unterschiedlicher Reize über verschiedene Sinnesorgane. Ein bedeutendes Gebiet in diesem Zusammenhang ist die visuelle Wahrnehmung, die als ‘... Aufnahme und die zentrale Verarbeitung von visuellen Reizen ...’ definiert ist. Der Mensch ist in der Lage aus einer großen Menge visueller Reize bestimmte Signale innerhalb kürzester Zeit herauszufiltern und richtig zu interpretieren. Probleme ergeben sich allerdings bei der Portierung dieser Fähigkeit der natürlichen Mustererkennung auf Computersysteme durch die erheblichen Unterschiede hinsichtlich der Leistungsfähigkeit und der Architektur. Nach dem derzeitigen technischen Stand können Computer Daten um ein vielfaches schneller verarbeiten, als unser Gehirn, sind aber dennoch mit Aufgaben überfordert, die durch unser Gehirn in kürzester Zeit erfolgreich durchgeführt werden. Charakteristisch für das menschliche Gehirn, als komplexes biologisches Netzwerk, ist seine hochgradige parallele Signalverarbeitung. Dank seiner ca. 1012 Nervenzellen, die über ca. 1015 Verbindungen miteinander verknüpft sind, verarbeitet es Millionen von Reizen innerhalb weniger Millisekunden. Die serielle Datenverarbeitung auf einer Von-Neumann-Architektur ist damit nicht vergleichbar. Es existieren allerdings stark vereinfachte Modelle zur Nachahmung dieses komplexen biologischen natürlichen Nervensystems, die als künstliche neuronale Netze (KNN) bezeichnet werden. Auch im Bereich der Mustererkennung hat sich der Einsatz von KNN bewährt, wobei besonders das Neokognitron eine gute Nachahmung der natürlichen Mustererkennung im visuellen Bereich verspricht. Der Fokus der vorliegenden Arbeit liegt auf der strukturellen und funktionalen Darstellung des Neokognitrons bei der Mustererkennung. Darüber hinaus werden Anwendungen vorgestellt, für die das Neokognitron implementiert wurde. Neben dem Neokognitron wird auch das Hopfield-Netz (HN) als klassisches KNN zur Mustererkennung erläutert. Entsprechend dieser Ausführungen wurde zusätzlich zur vorliegenden Arbeit ein E-Learning Modul (EM) für binäre HN prototypisch implementiert und wird in dieser Arbeit vorgestellt. Die vorliegende Arbeit ist wie folgt aufgebaut: Kapitel 2 gibt eine Einführung in die Mustererkennung, wobei zunächst eine Eingrenzung dieses Themengebietes für die vorliegende Arbeit erfolgt. Anschließend werden die Teilschritte eines allgemeinen Mustererkennungsprozesses erläutert. In diesen Prozess lassen sich verschiedene Mustererkennungsaufgaben integrieren, von denen die wesentlichen Aufgaben vorgestellt werden. Den Abschluss bildet eine Motivation des Einsatzes von KNN zur Mustererkennung. Kapitel 3 vermittelt die notwendigen Grundlagen von KNN, die zum Verständnis der folgenden Kapitel von Bedeutung sind. Darüber hinaus wird die Eignung von KNN für den Mustererkennungsprozess aus Kapitel 2 begründet. Kapitel 4 führt in die Theorie eines HN zur Mustererkennung ein und schließt mit einer kritischen Bewertung des Einsatzes zur Mustererkennung. Kapitel 5 thematisiert anschließend das Neokognitron zur Mustererkennung. Im Vordergrund stehen dabei die Netzstruktur, die sich daraus ergebende Funktionsweise bei der Mustererkennung sowie potentielle Lernverfahren. Abschließend erfolgt eine Bewertung u.a. bzgl. des Einsatzes im Mustererkennungsprozess aus Kapitel 2 und der Leistungsfähigkeit bei der Mustererkennung. In Kapitel 6 werden verschiedene Erweiterungen des Neokognitrons vorgestellt, die sich auf spezielle Problembereiche beziehen. Aufgrund deren hoher Komplexität werden ausschließlich die wesentlichen Eigenschaften im Überblick dargestellt. Kapitel 7 fokussiert Anwendungen aus verschiedenen Bereichen, in denen das Neokognitron zur Mustererkennung implementiert wurde. Die entsprechenden Implementierungen sollen die praktische Leistungsfähigkeit und das Anwendungsspektrum des Neokognitrons verdeutlichen. Kapitel 8 stellt das entwickelte EM für binäre HN vor, das die Möglichkeit zur computergestützten Simulation von binären HN im Lehrbetrieb schafft, wodurch deren Leistungsfähigkeit praktisch evaluiert werden kann. Das Kapitel zeigt dazu ausgewählte Aspekte der Implementierung. Kapitel 9 beinhaltet schließlich eine zusammenfassende Betrachtung der zentralen Punkte der vorliegenden Arbeit und gibt einen Ausblick zum Neokognitron bzgl. der Mustererkennung.Inhaltsverzeichnis:Inhaltsverzeichnis: AbbildungsverzeichnisV AbkürzungsverzeichnisVII TabellenverzeichnisIX 1.Einleitung1 1.1Motivation1 1.2Ziele der Arbeit2 1.3Aufbau der Arbeit2 2.Mustererkennung5 2.1Mustererkennungsprozess6 2.2Wesentliche Mustererkennungsaufgaben8 2.3Methoden der Mustererkennung10 3.Künstliche Neuronale Netze13 3.1Standardneuronenmodell13 3.2Grundlegende Netzarchitekturen15 3.3Lernverfahren16 3.4Einsatz im Bereich der Mustererkennung17 4.Hopfield-Netz19 4.1Netzstruktur19 4.2Mustererkennung20 4.2.1Rekursive Berechnung21 4.2.2Energiefunktion21 4.3Musterspeicherung22 4.4Musterlöschung24 4.5Verschiedene Netzkonfigurationen24 4.6Bewertung26 5.Neokognitron29 5.1Grundlegende Netzstruktur29 5.1.1Eingabeschicht30 5.1.2Stufensystem30 5.1.3Verbindungsstruktur31 5.2Mustererkennung32 5.3S-Zellen34 5.3.1Verbindungsstruktur34 5.3.2Mathematische Beschreibung37 5.3.3Merkmalsextraktion auf Basis der Ähnlichkeit39 5.3.4Steuerung der Selektivität40 5.4C-Zellen42 5.4.1Verbindungsstruktur42 5.4.2Mathematische Beschreibung43 5.4.3Positionsinvarianz und Unschärfe44 5.5Lernverfahren46 5.5.1Wahl der Netzgröße46 5.5.2Nicht-überwachtes Lernen47 5.5.3Überwachtes Lernen51 5.5.4Vergleich der Lernverfahren52 5.6Bewertung53 5.6.1Integration in den Mustererkennungsprozess53 5.6.2Geeignete Muster54 5.6.3Erkennungsleistung und Störungsinvarianz54 5.6.4Fazit55 6.Erweiterungen des Neokognitrons57 6.1Erweitertes Neokognitron57 6.1.1Kontrastgewinnung57 6.1.2Hemmendes Umfeld von C-Zellen58 6.1.3Hybrider Lernprozess59 6.1.4Weiterentwicklung60 6.1.5Computersimulation63 6.2Selektive Aufmerksamkeitssteuerung und Autoassoziation64 6.2.1Routenwahl66 6.2.2Autoassoziation66 6.2.3Verstärkung der Aufmerksamkeit67 6.2.4Segmentierung67 6.2.5Wechsel der Aufmerksamkeit67 6.2.6Antwortkontrolle68 6.3Rotationsinvarianz69 6.3.1Version 1 – Rotationsinvariantes Neokognitron69 6.3.2Version 2 – Hybrides Neokognitron entsprechend der mentalen Rotation70 6.4Doppelte C-Zellen-Schicht72 7.Anwendungen75 7.1Zeichenerkennung76 7.1.1Erkennung numerischer und alphanumerischer Zeichen76 7.1.2Weitere Anwendungen im Bereich der Zeichenerkennung78 7.2Erkennung handgeschriebener Musiknoten79 7.3Gesichtserkennung80 7.4Automatische Zielerkennung85 7.5Analyse von Echokardiogrammen87 7.6Erkennung von Draht-Modellen88 7.7Suche struktureller Einheiten auf Mikrochips89 7.8Weitere Anwendungen90 8.E-Learning Modul für binäre Hopfield-Netze93 8.1Wahl der Software-Plattform und Entwicklungsumgebung94 8.2Softwarearchitektur und allgemeine Modulverwendung95 8.3Kritische Aspekte der Entwicklung97 8.3.1Hopfield-Logik97 8.3.2Benutzeroberfläche und Ablaufsteuerung99 9.Resümee und Ausblick101 A.Hopfield Netz105 A.1Gewichtsmatrix105 A.2Beispiel für eine Energiefunktion105 A.3Beispiel zum Lernen der Schwellen106 B.Software zur Simulation eines Neokognitrons107 B.1Beholder 2.0b107 B.2NeoCognitron 1.0.0 Beta112 C.Muster bei der Erkennung alphanumerischer Zeichen117 D.CAPTCHA-Beispiele123 E.E-Learning Modul125 E.1Abbildung des zweidimensionalen Eingabebereiches auf ein eindimensionales Feld125 E.2Abbildung der zweidimensionalen Gewichtsmatrix auf ein eindimensionales Feld125 E.3Einsatz einer Datenbank zur Speicherung der Gewichtsmatrix127 E.4Ermittlung der maximalen Mustergröße in Abhängigkeit von der Prozessorarchitektur128 Literaturverzeichnis131Textprobe:Textprobe: Kapitel 5.5, Lernverfahren: In diesem Abschnitt steht der Lernprozess des Neokognitrons im Vordergrund, in dessen Rahmen die variablen Verbindungsgewichte aller S-Zellen angepasst werden. Dieser basiert auf einer Reihe ausgewählter Trainingsmuster, durch die das Neokognitron grundlegend vorkonfiguriert wird, wobei u.a. die Wahl der Netzgröße von Bedeutung ist und in 5.5.1 zunächst thematisiert wird. Das Neokognitron lässt sich anschließend nicht-überwacht (learning without a teacher bzw. self-organized) oder überwacht (learning with a teacher) trainieren, wobei im Verlauf beider Lernverfahren sukzessive Trainingsmuster an die Eingabeschicht angelegt und deren Signale vorwärts gerichtet durch das Netz propagiert werden. Auf Basis dieser Signale erfolgt die (positive) Verstärkung der variablen Verbindungsgewichte. Dabei existiert keine explizite obere Schranke für die Verbindungsgewichte. Dennoch wachsen diese nicht unendlich, da der Lernprozess nur solange stattfindet, bis die Trainingsmuster zufriedenstellend wiedererkannt werden. Zusätzlich rufen die Aktivierungsfunktion in Formel 5.4 und die gleichzeitige Verstärkung der hemmenden Verbindung einer S-Zelle eine Dämpfung der Ausgabe einer S-Zelle hervor. Im Lernprozess werden bestimmte Merkmale der Trainingsmuster extrahiert, deren Signale gelernt und die Trainingsmuster darauf aufbauend nach Ähnlichkeit bestimmten Musterklassen zugeordnet. Der Lernprozess sollte dabei solange durchgeführt werden, bis für jedes angelegte Trainingsmuster die zugehörige C-Zelle der letzten Stufe aktiviert wird. 5.5.1, Wahl der Netzgröße: Die optimale Netzgröße bezieht sich auf die Anzahl der Stufen, der Ebenen pro Schicht sowie die Größe der rezeptiven Felder und ist abhängig von der Anzahl der zu lernenden Musterklassen sowie der Trainingsmuster bzgl. deren Merkmals- Komplexität, -Dichte und -Störungen. Ein Anstieg der zu lernenden Musterklassen erfordert maßgeblich die Erhöhung der Anzahl von Ebenen, da die Merkmale der neuen Musterklassen gelernt werden sollen. Die Größe der rezeptiven Felder von Zellen der Zwischenschichten wird zunächst durch die Merkmalskomplexität der Trainingsmuster bestimmt, wobei diese bei steigender Komplexität kleiner zu wählen sind und umgekehrt. Dadurch werden Unterschiede zwischen den Musterklassen detaillierter gelernt. Weiterhin ist die Größe der rezeptiven Felder von der Dichte der Merkmale in den Trainingsmustern abhängig, wobei auch in diesem Fall die rezeptiven Felder umso kleiner gewählt werden sollten, je größer die Merkmalsdichte ist. Schließlich beeinflussen die erwarteten Störungen von Merkmalen die Größe der rezeptiven Felder. Werden starke Merkmalsstörungen erwartet, so sind die rezeptiven Felder klein zu wählen und umgekehrt. Diese Verkleinerung (Vergrößerung) von rezeptiven Feldern zieht insgesamt eine Erhöhung (Verringerung) der Stufenanzahl nach sich, damit bei der Mustererkennung eine geeignete Aggregation von primitiven zu komplexeren Merkmalen durchgeführt wird. 5.5.2, Nicht-überwachtes Lernen: Bei diesem Lernverfahren werden ausschließlich die zur Verfügung stehenden Trainingsmuster benötigt und gleichverteilt wiederholt an das Netz angelegt, bis sich eine gewünschte Erkennungsgenauigkeit eingestellt hat. Weitere Informationen werden nicht vorgegeben, so dass die variablen Verbindungsgewichte und die Zuordnung der Trainingsmuster zu einer Musterklasse selbstorganisierend gelernt werden. Im ersten Schritt erfolgen die Initialisierung aller erregenden Verbindungen mit kleinen positiven Werten nahe Null und die aller hemmenden Verbindungen durch Bewertung mit Null. Fukushima hat keine bestimmte Funktion zur Initialisierung der erregenden Verbindungen vorgegeben, sondern lediglich die einzubeziehenden Parameter, auf deren Basis die Bewertung zu erfolgen hat. Dadurch werden die Verbindungen aller S-Zellen einer S-Ebene gleich, aber zwischen den S-Ebenen verschieden bewertet. Insgesamt sind S-Zellen zu Beginn des Lernverfahrens auf kein bestimmtes Merkmal konditioniert. Im Anschluss daran erfolgt die Ausbildung der Selektivität der S-Zellen auf ein bestimmtes Merkmal des Trainingsmusters. Dazu wird ein Wettbewerbslernen (competitive learning) simultan für alle S-Schichten durchgeführt, wobei die Strategie ‘der Gewinner erhält alles’ (winner takes all) implementiert wird. In diesem Wettbewerb werden bestimmte S-Zellen als Repräsentanten ihrer jeweiligen S-Ebene ausgewählt und deren Verbindungsgewichte anschließend verstärkt. Dieses Vorgehen lässt sich in drei Teilschritte gliedern, die im Folgenden für eine beliebige S-Schicht beschrieben werden. |
