„Rekurrentes neuronales Netz“ – Versionsunterschied
| [gesichtete Version] | [gesichtete Version] |
K Kleinigkeiten verbessert |
K Referenz auf Kruse: Computational Intelligence eingefügt |
||
| Zeile 1: | Zeile 1: | ||
Als '''rekurrente''' bzw. '''rückgekoppelte neuronale Netze''' bezeichnet man [[Neuronales Netz|neuronale Netze]], die sich, im Gegensatz zu den sogenannten [[Künstliches Neuron#Verbindungsnetzwerke|Feedforward-Netzen]] durch Verbindungen von [[Nervenzelle|Neuronen]] einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnen. Im [[Gehirn]] ist dies die bevorzugte Verschaltungsweise neuronaler Netze, insbesondere im [[Neocortex]]. In [[künstliches neuronales Netz|künstlichen neuronalen Netzen]] werden rekurrente Verschaltung von [[künstliches Neuron|Modellneuronen]] benutzt, um zeitlich codierte Informationen in den Daten zu entdecken. Beispiele für solche rekurrente neuronale Netze sind das [[Elman-Netz]], das [[Jordan-Netz]], das [[Hopfield-Netz]], sowie das vollständig verschaltete neuronale Netz. |
Als '''rekurrente''' bzw. '''rückgekoppelte neuronale Netze''' bezeichnet man [[Neuronales Netz|neuronale Netze]], die sich, im Gegensatz zu den sogenannten [[Künstliches Neuron#Verbindungsnetzwerke|Feedforward-Netzen]] durch Verbindungen von [[Nervenzelle|Neuronen]] einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnen. Im [[Gehirn]] ist dies die bevorzugte Verschaltungsweise neuronaler Netze, insbesondere im [[Neocortex]]. In [[künstliches neuronales Netz|künstlichen neuronalen Netzen]] werden rekurrente Verschaltung von [[künstliches Neuron|Modellneuronen]] benutzt, um zeitlich codierte Informationen in den Daten zu entdecken. <ref name="kruse-online"/><ref name="kruse-print"/> Beispiele für solche rekurrente neuronale Netze sind das [[Elman-Netz]], das [[Jordan-Netz]], das [[Hopfield-Netz]], sowie das vollständig verschaltete neuronale Netz. |
||
[[Datei:Neuronal-Networks-Feedback.png|mini|Verschiedene Arten von Rückkopplungen: Die blaue Kante (<math>w_d</math>) ist eine direkte, die grüne (<math>w_i</math>) eine indirekte und die rote (<math>w_l</math>) eine seitliche Rückkopplung.]] |
[[Datei:Neuronal-Networks-Feedback.png|mini|Verschiedene Arten von Rückkopplungen: Die blaue Kante (<math>w_d</math>) ist eine direkte, die grüne (<math>w_i</math>) eine indirekte und die rote (<math>w_l</math>) eine seitliche Rückkopplung.]] |
||
| Zeile 19: | Zeile 19: | ||
== Einzelnachweise == |
== Einzelnachweise == |
||
<references |
<references> |
||
<ref name="kruse-online">{{Internetquelle|url=http://www.computational-intelligence.eu/?page_id=174|titel=Neuronale Netze {{!}} Computational Intelligence|autor=Rudolf Kruse et al.|hrsg=Springer-Vieweg, Wiesbaden, 2015|werk=Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. Zweite Auflage|datum=|sprache=de|zugriff=2017-04-05}}</ref> |
|||
<ref name="kruse-print">{{Literatur|Autor=Rudolf Kruse et al.|Titel=Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze.|Hrsg=|Sammelwerk=|Band=|Nummer=|Auflage=Zweite Auflage|Verlag=Springer-Vieweg|Ort=Wiesbaden|Datum=2015|Seiten=515|ISBN=978-3-658-10903-5}}</ref> |
|||
</references> |
|||
[[Kategorie:Neuroinformatik]] |
[[Kategorie:Neuroinformatik]] |
||
Version vom 5. April 2017, 09:09 Uhr
Als rekurrente bzw. rückgekoppelte neuronale Netze bezeichnet man neuronale Netze, die sich, im Gegensatz zu den sogenannten Feedforward-Netzen durch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnen. Im Gehirn ist dies die bevorzugte Verschaltungsweise neuronaler Netze, insbesondere im Neocortex. In künstlichen neuronalen Netzen werden rekurrente Verschaltung von Modellneuronen benutzt, um zeitlich codierte Informationen in den Daten zu entdecken. [1][2] Beispiele für solche rekurrente neuronale Netze sind das Elman-Netz, das Jordan-Netz, das Hopfield-Netz, sowie das vollständig verschaltete neuronale Netz.
Rekurrente Netze lassen sich folgendermaßen unterteilen:
- Bei einer direkten Rückkopplung (englisch direct feedback) wird der eigene Ausgang eines Neurons als weiterer Eingang genutzt.
- Die indirekte Rückkopplung (englisch indirect feedback) verbindet den Ausgang eines Neurons mit einem Neuron der vorhergehenden Schichten.
- Die seitliche Rückkoppelung (englisch lateral feedback) verbindet den Ausgang eines Neurons mit einem anderen Neuron derselben Schicht.
- Bei einer vollständigen Verbindung hat jeder Neuronenausgang eine Verbindung zu jedem anderen Neuron.
Praktische Anwendung finden rekurrente neuronale Netze bei Problemstellungen, die das Verarbeiten von Sequenzen erfordern. Beispiele dafür sind Handschrifterkennung, Spracherkennung und Maschinenübersetzung. Die hierbei vorherrschende Art der rekurrenten neuronalen Netze sind LSTMs, beziehungsweise ähnliche Varianten, die auf einer direkten Rückkopplung basieren.
Lernen von rekurrenten neuronalen Netzen
Rekurrente künstliche neuronale Netze sind schwierig durch Methoden des maschinellen Lernens zu trainieren.[3] Ein populärer Ansatz ist es daher, nicht das Netz, sondern das Auslesen des Netzes zu trainieren. Das rekurrente neuronale Netz wird dabei als sogenanntes Reservoir betrachtet. Im Falle von LSTMs werden die Netze durch Backpropagation-Through-Time (siehe Backpropagation) während des Trainingsvorgangs in ein Feedforward-Netz entsprechend der Sequenzlänge umgewandelt [4]. Damit wird die Komplexität des Lernverhaltens ähnlich dem der herkömmlichen Feedforward-Netze.
Literatur
- Andreas Zell, Simulation neuronaler Netze, R. Oldenbourg Verlag, München, 1997, ISBN 3-486-24350-0
Einzelnachweise
- ↑ Rudolf Kruse et al.: Neuronale Netze | Computational Intelligence. In: Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. Zweite Auflage. Springer-Vieweg, Wiesbaden, 2015, abgerufen am 5. April 2017.
- ↑ Rudolf Kruse et al.: Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. Zweite Auflage. Springer-Vieweg, Wiesbaden 2015, ISBN 978-3-658-10903-5, S. 515.
- ↑ Reservoir Computing. Reservoir Lab Ghent, 30. Mai 2008, abgerufen am 2. April 2010.
- ↑ Chris Nicholson, Adam Gibson: A Beginner's Guide to Recurrent Networks and LSTMs - Deeplearning4j: Open-source, distributed deep learning for the JVM. In: deeplearning4j.org. Abgerufen am 16. Juli 2016.