Kernel (Maschinelles Lernen)

Im Bereich des Maschinellen Lernens wurden in den letzten Jahren eine Klasse von Algorithmen entwickelt, die sich eines Kernels (dt. Kern) bedienen, um ihre Berechnungen implizit in einem hochdimensionalen Raum auszuführen. Bekannte Algorithmen, die mit Kerneln arbeiten, sind die Support-Vector-Maschinen und die Kernel-PCA.

Formale Definition

Sei $X$ ein Eingaberaum. Eine Abbildung $K : X \times X \rightarrow \mathbb{R}$ heißt Kernel, wenn es einen Skalarproduktraum $(F,\langle \cdot, \cdot \rangle)$ und eine Abbildung $\phi: X \rightarrow F$ in diesen Raum gibt mit: $K(x,y) = \langle \phi(x), \phi(y) \rangle \;\;\;\; \forall x,y \in X$. $F$ heißt Featurespace oder Merkmalsraum, $\Phi$ Featuremapping oder Merkmalsabbildung. In der Praxis muss der Featurespace nicht explizit bekannt sein, da Kernels durch den Satz von Mercer eine einfache Charakterisierung besitzen.

Verschiedene Klassen von Kernel-Funktionen

Es gibt verschiedene Arten von Kerneln, die sich zum Teil über Parameter an die gegebene Problemstellung anpassen lassen:

• lineare Kernel $k(x,y) = \langle x,y \rangle$
• polynomielle Kernel $k(x,y) = \langle x,y \rangle^{d}$
• RBF-Kernel $k(x,y) = \exp(-\tfrac{||x-y||^{2}}{2\sigma^{2}})$

Inzwischen sind auch Kernel auf Graphen und Strings definiert worden.

Literatur

• Bernhard Schölkopf, Alex Smola: Learning with Kernels. MIT Press, Cambridge, MA, 2002.

• Nello Cristianini, John Shawe-Taylor: Kernel Methods for Pattern Classification. Cambridge, 2004.

Weblinks

• http://www.kernel-machines.org/
• http://www.kernel-methods.net