Kernel (Maschinelles Lernen)

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Im Bereich des Maschinellen Lernens wurde in den letzten Jahren eine Klasse von Algorithmen entwickelt, die sich eines Kernels (dt. Kern) bedienen, um ihre Berechnungen implizit in einem höherdimensionalen Raum auszuführen. Bekannte Algorithmen, die mit Kerneln arbeiten, sind die Support Vector Machines und die Kernel-PCA.

Man spricht in diesem Zusammenhang auch vom Kernel-Trick, weil man mit dieser Methode einen linearen Klassifikator auf nicht linearklassifizierbare Daten anwendet. Dies wird erreicht, indem man die Daten in einen höherdimensionalen Raum transformiert, in welchem man sich eine bessere lineare Separierbarkeit erhofft.

Formale Definition[Bearbeiten]

Sei X ein Eingaberaum. Eine Abbildung  K : X \times X \rightarrow \mathbb{R} heißt Kernel, wenn es einen Skalarproduktraum (F,\langle \cdot, \cdot \rangle) und eine Abbildung \phi: X \rightarrow F in diesen Raum gibt mit: K(x,y) = \langle \phi(x), \phi(y) \rangle \;\;\;\; \forall x,y \in X . F heißt Featurespace oder Merkmalsraum, \Phi Featuremapping oder Merkmalsabbildung. In der Praxis muss der Featurespace nicht explizit bekannt sein, da Kernel durch den Satz von Mercer eine einfache Charakterisierung besitzen.

Verschiedene Klassen von Kernel-Funktionen[Bearbeiten]

Es gibt verschiedene Arten von Kerneln, die sich zum Teil über Parameter an die gegebene Problemstellung anpassen lassen:

  • lineare Kernel  k(x,y) = \langle x,y \rangle
  • polynomiale Kernel  k(x,y) = \langle x,y \rangle^{d}
  • RBF-Kernel  k(x,y) = \exp\left(-\tfrac{||x-y||^{2}}{2\sigma^{2}}\right)

Inzwischen sind auch Kernel auf Graphen und Strings definiert worden.

Literatur[Bearbeiten]

  • Christopher M. Bishop: Pattern Recognition and Machine Learning. Information Science and Statistics, Springer-Verlag, 2008, ISBN 978-0387310732
  • Nello Cristianini, John Shawe-Taylor: Kernel Methods for Pattern Classification. Cambridge, 2004.
  • Bernhard Schölkopf, Alex Smola: Learning with Kernels. MIT Press, Cambridge, MA, 2002.

Weblinks[Bearbeiten]