Quelltext der Seite Künstliches Neuron

Ein '''künstliches Neuron''' bildet die Basis für das Modell der [[Künstliches neuronales Netz|künstlichen neuronalen Netze]], ein [[Modell]] aus der [[Neuroinformatik]], das durch biologische [[Neuronales Netz|neuronale Netze]] motiviert ist. Als [[Konnektionismus|konnektionistisches Modell]] bilden sie<!-- ? --> in einem [[Netzwerk]] aus künstlichen Neuronen ein künstliches neuronales Netz und können so beliebig komplexe [[Funktion (Mathematik)|Funktionen]] [[Approximation|approximieren]], Aufgaben erlernen und Probleme lösen, bei denen eine explizite Modellierung schwierig bis nicht durchzuführen ist. Beispiele sind die [[Gesichtserkennung|Gesichts-]] und [[Spracherkennung]].

Als Modell aus dem biologischen Vorbild der [[Nervenzelle]] entstanden, kann es mehrere ''Eingaben'' verarbeiten und entsprechend über seine ''Aktivierung'' reagieren. Dazu werden die Eingaben gewichtet an eine ''Ausgabefunktion'' übergeben, welche die Neuronenaktivierung berechnet. Ihr Verhalten wird ihnen im Allgemeinen durch [[Maschinelles Lernen|Einlernen]] unter Verwendung eines [[Künstliches neuronales Netz#Lernverfahren|Lernverfahrens]] gegeben.

== Geschichte ==
[[Datei:Diagram of a McCulloch-Pitts-cell.svg|mini|Diagramm einer McCulloch-Pitts-Zelle nach [[Marvin Minsky|Minsky]]]]
Die Anfänge der künstlichen Neuronen gehen auf [[Warren McCulloch]] und [[Walter Pitts]] im Jahr 1943 zurück. Sie zeigten an einem vereinfachten Modell eines Neuronalen Netzes, der [[McCulloch-Pitts-Zelle]], dass diese logische und arithmetische Funktionen berechnen kann.

[[Datei:CajalHippocampus.jpeg|mini|Neuronale Verbindungen des Nagetier-[[Hippocampus]] von Ramón y Cajal (1911)]]
Die [[Hebbsche Lernregel]] wurde im Jahr 1949 von [[Donald Hebb]] beschrieben. Aufbauend auf der medizinischen Forschung von [[Santiago Ramón y Cajal]], der bereits 1911 die Existenz von [[Synapse]]n nachgewiesen hatte, werden nach dieser Regel wiederholt aktive Verbindungen zwischen Nervenzellen gestärkt. Die Verallgemeinerung dieser Regel wird auch in den heutigen Lernverfahren noch verwendet.

Eine wichtige Arbeit kam im Jahre 1958 mit dem ''Konvergenztheorem'' über das [[Perzeptron]] heraus. Dort zeigte [[Frank Rosenblatt]], dass es mit dem angegebenen Lernverfahren alle Lösungen einlernen kann, die mit diesem Modell repräsentierbar sind.

Jedoch zeigten die Kritiker [[Marvin Minsky]] und [[Seymour Papert]] 1969, dass ein einstufiges Perzeptron eine [[XOR-Verknüpfung]] nicht repräsentieren kann, weil die XOR-Funktion nicht [[Lineare Separierbarkeit|linear separierbar]] (linear trennbar) ist, erst spätere Modelle konnten diesen Missstand beheben. Die so gezeigte Grenze in der Modellierung führte zunächst zu einem abnehmenden Interesse an der Erforschung der künstlichen neuronalen Netze sowie zu einer Streichung von Forschungsgeldern.

Ein Interesse an künstlichen Neuronalen Netzen kam erst wieder auf, als [[John Hopfield]] die [[Hopfield-Netz]]e 1985 bekannt machte und zeigte, dass sie in der Lage sind [[Optimierungsproblem]]e zu lösen, wie das [[Problem des Handlungsreisenden]].<ref name="hopfield">J.J. Hopfield, D. Tank: ''Neural Computation of Decisions in Optimization Space''. Biological Cybernetics, Nr. 52, S. 141–152, 1985.</ref> Ebenfalls führte die Arbeit zum [[Backpropagation]]-Verfahren von [[David E. Rumelhart]], [[Geoffrey E. Hinton]] und [[Ronald J. Williams]] ab 1986 zu einer Wiederbelebung der Erforschung dieser Netze.

Heute werden solche Netze in vielen Forschungsbereichen verwendet.

== Biologische Motivation ==
[[Datei:Neuron (deutsch)-1.svg|mini|Schematische Darstellung einer Nervenzelle]]
Motiviert sind künstliche Neuronen durch die [[Nervenzelle]]n der Säugetiere, die auf die Aufnahme und Verarbeitung von Signalen spezialisiert sind. Über [[Synapse]]n werden Signale elektrisch oder chemisch an andere Nervenzellen oder [[Effektor (Biologie)|Effektorzellen]] (etwa zur [[Muskel#Muskelkontraktion|Muskelkontraktion]]) weitergeleitet.

Eine Nervenzelle besteht aus dem [[Perikaryon|Zellkörper]], [[Axon]] und den [[Dendrit (Biologie)|Dendriten]]. Dendriten sind kurze Zellfortsätze, die stark verzweigt für die Aufnahme von Signalen anderer Nervenzellen oder [[Sinneszelle]]n sorgen. Das Axon funktioniert als Signalausgang der Zelle und kann eine Länge von bis zu 1&nbsp;m erreichen. Der Übergang der Signale erfolgt an den Synapsen, welche erregend oder [[Inhibition (Neuron)|hemmend]] wirken können.

Die Dendriten der Nervenzelle leiten die eingehenden elektrischen Erregungen an den Zellkörper weiter. Erreicht die Erregung einen gewissen Grenzwert und übersteigt ihn, entlädt sich die Spannung und pflanzt sich über das Axon fort ([[Alles-oder-nichts-Gesetz]]).

Die Verschaltung dieser Nervenzellen bildet die Grundlage für die geistige Leistung des [[Gehirn]]s. Das [[Zentralnervensystem]] des Menschen besteht nach Schätzungen aus 10<sup>10</sup> bis 10<sup>12</sup> Nervenzellen, die durchschnittlich 10.000 Verbindungen besitzen&nbsp;– das menschliche Gehirn kann also mehr als 10<sup>14</sup> Verbindungen besitzen.<ref>[[Patricia Churchland|Patricia S. Churchland]], Terrence J. Sejnowski: ''Grundlagen zur Neuroinformatik und Neurobiologie.'' Friedr. Vieweg & Sohn Verlagsgesellschaft, Braunschweig/Wiesbaden 1997, ISBN 3-528-05428-X</ref><ref>Werner Kinnebrock: ''Neuronale Netze: Grundlagen, Anwendungen, Beispiele.'' R. Oldenbourg Verlag, München 1994, ISBN 3-486-22947-8</ref> Das [[Aktionspotential]] im Axon kann sich mit einer Geschwindigkeit von bis zu 100&nbsp;m/s fortpflanzen.

Im Vergleich zu [[Logikgatter]]n zeigt sich auch die Effizienz von Neuronen. Während Gatter im Nanosekunden-Bereich (10<sup>−9</sup>) schalten, unter einem Energieverbrauch von 10<sup>−6</sup> [[Joule]] (Daten von 1991), reagieren Nervenzellen im Millisekunden-Bereich (10<sup>−3</sup>) und verbrauchen lediglich eine Energie von 10<sup>−16</sup> Joule. Trotz der augenscheinlich geringeren Werte in der Verarbeitung durch Nervenzellen können rechnergestützte Systeme nicht an die Fähigkeiten biologischer Systeme heranreichen.

Die Leistung [[Neuronales Netz|neuronaler Netze]] wird ebenfalls durch die [[100-Schritt-Regel]] demonstriert: Die visuelle Erkennung beim Menschen findet in maximal 100 sequentiellen Verarbeitungsschritten statt&nbsp;– die meist sequentiell arbeitenden Rechner erbringen keine vergleichbare Leistung.

Die Vorteile und Eigenschaften von Nervenzellen motivieren das Modell der künstlichen Neuronen. Viele Modelle und Algorithmen zu künstlichen neuronalen Netzen entbehren dennoch einer direkt plausiblen, biologischen Motivierung. Dort findet sich diese nur im Grundgedanken der abstrakten Modellierung der Nervenzelle.

== Modellierung ==
Mit der Biologie als Vorbild wird nun durch eine passende Modellbildung eine für die [[Informationstechnik]] verwendbare Lösung gefunden. Durch eine grobe Verallgemeinerung wird das System vereinfacht&nbsp;– unter Erhaltung der wesentlichen Eigenschaften.

Die Synapsen der Nervenzelle werden hierbei durch die Addition gewichteter Eingaben abgebildet, die Aktivierung des Zellkerns durch eine Aktivierungsfunktion mit Schwellenwert.
Die Verwendung eines Addierers und Schwellenwerts findet sich so schon in der [[McCulloch-Pitts-Zelle]] von 1943.

=== Bestandteile ===
[[Datei:ArtificialNeuronModel deutsch.png|mini|420px|Darstellung eines künstlichen Neurons mit seinen Elementen]]
[[Datei:Computer.Science.AI.Neuron.AND.svg|mini|Lineare Trennung durch Trennebene für die Konjunktion]]
Ein künstliches Neuron mit dem Index <math>j</math> und den n Eingängen, indiziert mit <math>i</math>, kann durch vier Basiselemente beschrieben werden:

# ''[[Wichtung|Gewichtung]]:'' Jeder Eingang bekommt ein Gewicht. Die Gewichte <math>w_{ij}</math> (Eingang <math>i</math> bei Neuron <math>j</math>) bestimmen den Grad des Einflusses, den die ''Eingaben'' des Neurons in der Berechnung der späteren ''Aktivierung'' einnehmen. Abhängig von den Vorzeichen der Gewichte kann eine Eingabe hemmend (''inhibitorisch'') oder erregend (''exzitatorisch'') wirken. Ein Gewicht von 0 markiert eine nicht existente Verbindung zwischen zwei Knoten.
# ''Übertragungsfunktion:'' Die Übertragungsfunktion <math>\Sigma</math> berechnet anhand der ''Gewichtung der Eingaben'' die ''Netzeingabe'' des Neurons.
# ''Aktivierungsfunktion:'' Die Ausgabe des Neurons wird schließlich durch die Aktivierungsfunktion <math>\varphi</math> bestimmt. Die ''Aktivierung'' wird beeinflusst durch die Netzeingabe aus der Übertragungsfunktion sowie einem ''Schwellenwert''.
# ''Schwellenwert:'' Das Addieren eines [[Schwellenwert]]s <math>\theta_j</math> zur Netzeingabe verschiebt die ''gewichteten Eingaben''. Die Bezeichnung ergibt sich aus der Verwendung einer ''Schwellenwertfunktion'' als Aktivierungsfunktion, bei der das Neuron aktiviert wird, wenn der Schwellenwert überschritten ist. Die biologische Motivierung dabei ist das [[Schwellenpotential]] bei Nervenzellen. Mathematisch gesehen wird die [[Hyperebene|Trennebene]], die den [[Merkmalsraum]] auftrennt, durch einen Schwellenwert mit einer [[Parallelverschiebung|Translation]] verschoben.

Durch einen Verbindungsgraphen werden folgende Elemente festgelegt:
# ''Eingaben:'' Eingaben <math>x_i</math> können einerseits aus dem beobachteten Prozess resultieren, dessen Werte dem Neuron übergeben werden, oder wiederum aus den Ausgaben anderer Neuronen stammen. Sie werden auch so dargestellt: [[Datei:Symbol of a neuron acting as input.svg|30px]]
# ''Aktivierung'' oder ''Ausgabe'': Das Ergebnis der Aktivierungsfunktion wird analog zur Nervenzelle als Aktivierung <math>o_j</math> (o für „output“) des künstlichen Neurons mit dem Index <math>j</math> bezeichnet.

=== Mathematische Definition ===
Das künstliche Neuron als Modell wird in der Literatur meist auf dem folgenden Weg eingeführt:

Zuerst wird die Aktivierung <math>v</math> (in der Abbildung oben als „Netzeingabe“ oder „net“ bezeichnet) des künstlichen Neurons durch

:<math>v = \sum^{n}_{i=1} x_{i} w_{i} + w_{0}</math>

definiert. Da die Mathematik den Index (0..9) und die Anzahl (10) im Allgemeinen nicht unterscheidet, wird als mathematische Vereinfachung normalerweise eine synthetische Eingabe <math>x_{0} = 1</math> eingeführt und man schreibt

:<math>v = \sum^{n}_{i=0} x_{i} w_{i}</math>

:<math>o = \varphi(v)</math>

Dabei ist
:<math>n</math> die Anzahl der Eingaben
:<math>x_{i}</math> die Eingabe mit dem Index <math>i</math>, die sowohl [[Diskretheit|diskret]] als auch [[Stetige Funktion|stetig]] sein kann
:<math>w_{i}</math> die Gewichtung der Eingabe mit dem Index <math>i</math>
:<math>\varphi</math> die Aktivierungsfunktion und
:<math>o</math> die Ausgabe (englisch output)

== Aktivierungsfunktionen ==

Als '''Aktivierungsfunktion''' <math>\varphi</math> können verschiedene [[Funktion (Mathematik)|Funktionstypen]] verwendet werden, abhängig von der verwendeten [[Topologie (Künstliche neuronale Netze)|Netztopologie]]. Eine solche Funktion kann nicht-linear, zum Beispiel [[Sigmoidfunktion|sigmoid]], stückweise linear oder eine Sprungfunktion sein. Im Allgemeinen sind Aktivierungsfunktionen [[Monoton wachsende Funktion|monoton steigend]]. Die letzte Aktivierungsfunktion bei der Ausgabeschicht des Neuronalen Netzes hat eine gewisse Nähe zur inversen [[Kopplungsfunktion]] in verallgemeinerten linearen Modellen und dient ähnlichen Zwecken.

Lineare Aktivierungsfunktionen unterliegen einer starken Beschränkung, da eine [[Komposition (Mathematik)|Komposition]] linearer Funktionen durch arithmetische Umformungen durch eine einzige lineare Funktion dargestellt werden kann. Für mehrschichtige Verbindungsnetzwerke sind sie deswegen nicht geeignet und finden so nur in einfachen Modellen Anwendung.

Beispiele für grundlegende Aktivierungsfunktionen sind:

=== Schwellenwertfunktion ===
[[Datei:Hard-limit-function.svg|mini|Schwellenwertfunktion]]
Die [[Schwellenwertfunktion]] ([[Englische Sprache|engl.]] ''hard limit''), wie sie im Folgenden definiert ist, nimmt nur die Werte <math>0</math> oder <math>1</math> an. Den Wert 1 für die Eingabe <math>v \geq 0</math>, sonst <math>0</math>. Bei subtraktiver Verwendung eines Schwellenwerts <math>\theta</math> wird die Funktion nur aktiviert, wenn die zusätzliche Eingabe den Schwellenwert übersteigt. Ein Neuron mit einer solchen Funktion wird auch [[McCulloch-Pitts-Zelle]] genannt. Sie spiegelt die Alles-oder-nichts-Eigenschaft des Modells wider.
:<math>
\varphi^{\text{hlim}}(v) = \begin{cases}
 1 & \text{wenn } v \geq 0 \\
 0 & \text{wenn } v < 0
\end{cases}
</math>

Ein Neuron mit dieser Aktivierungsfunktion wird auch so dargestellt: [[Datei:Symbol of a neuron with a hardlimit activationfunction.svg|30px]]

=== Stückweise lineare Funktion ===
[[Datei:Piecewise-linear-function.svg|mini|Stückweise lineare Funktion]]
Die hier verwendete stückweise lineare Funktion (engl. ''piecewise linear'') bildet ein begrenztes [[Intervall (Mathematik)|Intervall]] linear ab, die äußeren Intervalle werden auf einen konstanten Wert abgebildet:
:<math>
\varphi^{\text{pwl}}(v) = \begin{cases}
 1 & \text{wenn } v \geq \frac{1}{2} \\
 v + \frac{1}{2} & \text{wenn } -\frac{1}{2} < v < \frac{1}{2} \\
 0 & \text{wenn } v \leq -\frac{1}{2}
\end{cases}
</math>

Ein Neuron mit der stückweise linearen Funktion als Aktivierungsfunktion wird auch folgendermaßen dargestellt: [[Datei:Symbol of a neuron with a piecewise linear activationfunction.svg|30px]]

=== Sigmoidfunktion ===
[[Datei:Sigmoid-function.svg|mini|Sigmoide Funktion mit Steigungsmaß {{Farblegende|red|<math>a = 5</math>}} sowie {{Farblegende|blue|<math>a = 10</math>}}]]
[[Sigmoidfunktion|Sigmoide Funktionen]] als Aktivierungsfunktion sind sehr häufig verwendete Abbildungen. Sie besitzen, wie hier definiert, ein variables Steigungsmaß <math>a</math>, das die [[Krümmung]] des [[Funktionsgraph]]en beeinflusst. Eine spezielle Eigenschaft ist ihre [[Differenzierbarkeit]], die für einige Verfahren wie den [[Backpropagation]]-Algorithmus benötigt werden:
:<math>
\varphi_a^{\text{sig}}(v) = \frac{1}{1 + \exp(-av)}
</math>
Die Werte der obigen Funktionen liegen im Intervall <math>[0,1]</math>. Für das Intervall <math>[-1,+1]</math> lassen sich diese Funktionen entsprechend definieren.

Ein Neuron mit der Sigmoidfunktion wird auch so dargestellt: [[Datei:Symbol of a neuron with a sigmoid activationfunction.svg|30px]]

=== Rectifier (ReLU) ===
[[Datei:Activation rectified linear.svg|mini|Rectifier-Aktivierungsfunktion]]
[[Rectifier (neuronale Netzwerke)|Rectifier]] als Aktivierungsfunktion wird besonders in [[Deep Learning|Deep-Learning]]-Modellen erfolgreich eingesetzt. Sie ist als [[Positivteil und Negativteil einer reellwertigen Funktion|Positivteil]] ihres Arguments definiert.
:<math>
\varphi(v) = \max(0,v)
</math>

== Beispiele ==
=== Darstellung boolescher Funktionen ===
Mit künstlichen Neuronen lassen sich [[boolesche Funktion]]en darstellen. So können die drei Funktionen [[Konjunktion (Logik)|Konjunktion]] (''and''), [[Disjunktion]] (''or'') und [[Negation]] (''not'') unter Verwendung einer Schwellenwertfunktion <math>\varphi^{\text{hlim}}</math> wie folgt repräsentiert werden:

{| class="wikitable"
!Konjunktion
!Disjunktion
!Negation
|- cellpadding="5" style="vertical-align:top"
|[[Datei:und-Neuron.png|150px|rahmenlos]]<br />Neuron, das die Konjunktion repräsentiert
|[[Datei:oder-Neuron.png|150px|rahmenlos]]<br />Neuron, das die Disjunktion repräsentiert
|[[Datei:nicht-Neuron.png|150px|rahmenlos]]<br />Neuron, das die Negation repräsentiert
|}

Für die Konjunktion zum Beispiel ist ersichtlich, dass nur für die [[Boolesche Variable|booleschen Eingaben]] <math>x_1 = 1</math> und <math>x_2 = 1</math> die Aktivierung
: <math>o = \varphi^{\text{hlim}}((w_1 \cdot x_1 + w_2 \cdot x_2) - \theta) = \varphi^{\text{hlim}}((1{,}0 \cdot 1 + 1{,}0 \cdot 1) - 1{,}5) = \varphi^{\text{hlim}}(0{,}5) = 1</math>

ergibt, sonst <math>0</math>.

=== {{Anker|Bias}} Einlernen eines Neurons ===
Anders als im vorherigen Beispiel, bei dem die passenden Gewichtungen gewählt wurden, können Neuronen die zu repräsentierende Funktion erlernen. Die Gewichtungen und der Schwellenwert werden anfangs mit zufälligen Werten belegt und anschließend unter Verwendung eines „[[Versuch und Irrtum|Versuch-und-Irrtum]]“-Lernalgorithmus angepasst.

{| class="wikitable" style="text-align:right"
|+ Wertetabelle der logischen Konjunktion
|-
!<math>x_1</math>!!<math>x_2</math>!!<math>x_1 \text{ and } x_2</math>
|-
|0||0||0
|-
|0||1||0
|-
|1||0||0
|-
|1||1||1
|}

Um die logische Konjunktion zu erlernen, kann die [[Perzeptron#Perzeptron-Lernregel|Perzeptron-Kriteriumsfunktion]] angewendet werden. Sie addiert die Werte fehlerhaft erkannter Eingaben auf die Gewichtung hinzu, um die Erkennung zu verbessern, bis möglichst alle Eingaben richtig klassifiziert werden. Die Aktivierungsfunktion ist hier analog zum vorherigen Beispiel die Schwellenwertfunktion <math>\varphi^{\text{hlim}}</math>.

Für das Lernverfahren wird die Lernrate, welche die Geschwindigkeit des Einlernens festlegt, mit <math>\alpha=1</math> gewählt. Somit entfällt eine explizite Erwähnung.

Statt den Schwellenwert als solchen anzugeben, wird ein on-Neuron ('''Bias'''), also ein konstanter Eingang <math>x_0=1</math> hinzugefügt. Der Schwellenwert wird durch die Gewichtung <math>w_0=-\theta</math> angegeben.

Um das Neuron auf die beiden möglichen Ausgaben <math>0</math> und <math>1</math> der Konjunktion zu trainieren, werden die Eingaben für die zugehörige Ausgabe <math>0</math> mit <math>-1</math> multipliziert. Die Ausgabe ist durch diesen Schritt nur dann <math>0</math>, wenn die betreffende Eingabe fehlerhaft klassifiziert wurde. Dieses Vorgehen vereinfacht die Betrachtung beim Einlernen und die spätere Gewichtungsanpassung. Danach sieht die Lerntabelle folgendermaßen aus:

{| class="wikitable" style="text-align:right"
|+ Lerntabelle
|- style="text-align:left"
! colspan="3"|Eingaben
|-
!<math>x_0</math>
!<math>x_1</math>
!<math>x_2</math>
|-
| −1||0||0
|-
| −1||0||−1
|-
| −1||−1||0
|-
|1||1||1
|}

Der Eingang <math>x_0</math> hat bei den Eingängen den Wert <math>-1</math>, bei denen das Neuron am Ende <math>0</math> ausgeben soll.

Für die Ausgangssituation werden die Gewichtungen zufällig gewählt:
{| class="wikitable"
!Gewicht!!Anfänglicher Wert!!Bedeutung
|-
|<math>w_0</math> (<math>= -\theta</math>)||{{0}}0,1||Darstellung des Schwellenwerts
|-
|<math>w_1</math>||{{0}}0,6||Gewichtung der ersten Eingabe <math>x_1</math>
|-
|<math>w_2</math>||−0,3||Gewichtung der zweiten Eingabe <math>x_2</math>
|}

Zum Testen der Gewichtungen werden diese in ein Neuron mit drei Eingängen und dem Schwellenwert <math>\theta=0</math> eingesetzt. Für die gewählten Gewichte sieht die Ausgabe wie folgt aus:

{| class="wikitable" style="text-align:right"
|+ Ausgabe des Neurons mit zufälligen Gewichten
|-
! colspan="3"|Eingaben
!Ausgabe
|-
!<math>x_0</math>
!<math>x_1</math>
!<math>x_2</math>
! colspan="2"|
|- style="background:#FF9999;"
| −1||0||0||0
|- style="background:#99FF99;"
| −1||0||−1||1
|- style="background:#FF9999;"
| −1||−1||0||0
|- style="background:#99FF99;"
|1||1||1||1
|}

Die erste und dritte Eingabe werden falsch berechnet und das Neuron gibt <math>0</math> aus. Nun findet die Perzeptron-Kriteriumsfunktion ihre Anwendung:

Durch die Addition mit den falsch erkannten Eingaben werden die zugehörigen Gewichte durch

: <math>w_{i}^{\mathrm{neu}}=w_{i}^{\mathrm{alt}} + \sum_j \alpha \cdot (t_{j} - o_{j}) \cdot x_{i}</math> korrigiert.

Dabei ist

:<math>j</math> die Nummer der Eingabe,
:<math>t_{j}</math> die gewünschte Ausgabe,
:<math>o_{j}</math> die tatsächliche Ausgabe,
:<math>x_{i}</math> die Eingabe des Neurons und
:<math>\alpha > 0</math> der Lerngeschwindigkeits-Koeffizient.

{|
| style="vertical-align: top"|
{| class="wikitable"
|+ Gewichtsanpassung im ersten Schritt
!Schritt!!Gewicht!!Vorheriger Wert!!Neuer Wert
|-
|rowspan="3" style="text-align:right; vertical-align: top"|1
|<math>w_0</math>||{{0}}0,1||<math>w_0(1) = w_0(0) + (-1) + (-1) = -1{,}9</math>
|-
|<math>w_1</math>||{{0}}0,6||<math>w_1(1) = w_1(0) + 0 + (-1) = -0{,}4</math>
|-
|<math>w_2</math>||−0,3||<math>w_2(1) = w_2(0) + 0 + 0 = -0{,}3</math>
|}
|
{| class="wikitable" style="text-align:right"
|+ Überprüfung
|- style="text-align:left"
! colspan="3"|Eingaben
!Ausgabe
|-
!<math>x_0</math>
!<math>x_1</math>
!<math>x_2</math>
! colspan="2"|
|- style="background:#99FF99;"
| −1||0||0||1
|- style="background:#99FF99;"
| −1||0||−1||1
|- style="background:#99FF99;"
| −1||−1||0||1
|- style="background:#FF9999;"
|1||1||1||0
|}
|}

Die Überprüfung nach der Gewichtungsänderung zeigt, dass statt der ersten und dritten Eingabe nun die vierte Eingabe falsch klassifiziert wird. Die Ausführung eines weiteren Schrittes des Lernverfahrens verbessert die Erkennungsfunktion des Neurons:

{|
| style="vertical-align: top"|
{| class="wikitable"
|+ Gewichtsanpassung im zweiten Schritt
!Schritt!!Gewicht!!Vorheriger Wert!!Neuer Wert
|-
|rowspan="3" style="text-align:right; vertical-align: top"|2
|<math>w_0</math>||−1,9||<math>w_0(2) = w_0(1) + 1 = -0{,}9</math>
|-
|<math>w_1</math>||−0,4||<math>w_1(2) = w_1(1) + 1 = 0{,}6</math>
|-
|<math>w_2</math>||−0,3||<math>w_2(2) = w_2(1) + 1 = 0{,}7</math>
|}
|
{| class="wikitable" style="text-align:right"
|+ Überprüfung
|- style="text-align:left"
! colspan="3"|Eingaben
!Ausgabe
|-
!<math>x_0</math>
!<math>x_1</math>
!<math>x_2</math>
! colspan="2"|
|- style="background:#99FF99;"
| −1||0||0||1
|- style="background:#99FF99;"
| −1||0||−1||1
|- style="background:#99FF99;"
| −1||−1||0||1
|- style="background:#99FF99;"
|1||1||1||1
|}
|}

Nun sieht man, dass das Neuron die vorgegebene Funktion erlernt hat und alle vier Eingaben richtig berechnet.

Unter Verwendung der Eingabe <math>x_1 = 1</math> und <math>x_2 = 1</math> und die Wahl von <math>\theta = -w_0</math> folgt nun die Aktivierung:

:<math>\begin{matrix}
o &=& \varphi^{\text{hlim}}(w_0 \cdot x_0 + w_1 \cdot x_1 + w_2 \cdot x_2) = \varphi^{\text{hlim}}((w_1 \cdot x_1 + w_2 \cdot x_2) - \theta) \\
&=& \varphi^{\text{hlim}}((0{,}6 \cdot 1 + 0{,}7 \cdot 1) - 0{,}9) = \varphi^{\text{hlim}}(0{,}4) = 1
\end{matrix}</math>

Für die anderen drei Eingaben, die für das Einlernen mit <math>-1</math> multipliziert wurden, ergibt sich nun der Wert <math>0</math>. So folgt aus der Eingabe <math>x_1 = 0</math> und <math>x_2 = 1</math> die Aktivierung:

:<math>o = \varphi^{\text{hlim}}((0{,}6 \cdot 0 + 0{,}7 \cdot 1) - 0{,}9) = \varphi^{\text{hlim}}(-0{,}2) = 0</math>

Ohne bestimmte Gewichtungen vorzugeben, hat das Neuron gelernt, anhand der Vorgaben die Konjunktion wie im ersten Beispiel darzustellen.

== Anwendungskraft eines einzelnen Neurons ==
Ein künstliches Neuron ist in der Lage, auch ohne ein gesamtes Netzwerk, maschinell zu lernen. Die statistischen Fachausdrücke sind lineare Regression und Klassifizierung. Damit können lineare Funktionen erlernt und linear trennbare Klassen unterschieden werden. Mithilfe des sogenannten Kerneltricks können aber auch nichtlineare Modelle erlernt werden. Demnach kann ein einzelnes Neuron ähnliche Ergebnisse, auch wenn nicht ganz optimal, wie SVMs erzielen.

== Literatur ==
* [[Simon Haykin]]: ''Neural Networks, A Comprehensive Foundation''. Macmillan College Publishing Company, New York 1994, ISBN 0-02-352761-7.
* Andreas Zell: ''Simulation neuronaler Netze''. R. Oldenbourg Verlag, München 1997, ISBN 3-486-24350-0.
* Jürgen Cleve, Uwe Lämmel: ''Data Mining''. De Gruyter Oldenbourg Verlag, München 2014, ISBN 978-3-486-71391-6.
* Jürgen Cleve, Uwe Lämmel: ''Künstliche Intelligenz''. Hanser Verlag, München 2012, ISBN 978-3-446-42758-7.

== Weblinks ==
* [https://www.heise.de/tr/artikel/Geist-in-der-Maschine-277969.html Technology Review: ''Geist in der Maschine'']
* [https://ronnystandtke.github.io/perceptron/lab?path=Perceptron.ipynb Interaktives JupyterLite-Notebook zum Perceptron]

== Quellen ==
<references />

{{Lesenswert|17. Juli 2006|19063444}}

{{SORTIERUNG:Kunstliches Neuron}}
[[Kategorie:Neuroinformatik]]