Ensemble learning

Ensemble Methoden werden in der Statistik und für Machine Learning eingesetzt. Sie nutzen eine endliche Menge von verschiedenen Lernalgorithmen, um bessere Ergebnisse zu erhalten wie mit einem einzelnen Lernalgorithmus. Die Berechnung der Ergebnisse dieser Menge von Algorithmen dauert zwar länger wie die Auswertung eines einzelnen Algorithmus, allerdings kann bereits mit einer viel geringeren Rechentiefe ein etwa gleich gutes Ergebnis erreicht werden. Zudem verbessert mehr Rechenzeit das Ergebnis nicht immer, gerade Entscheidungsbäume neigen zu Überanpassung, wenn sie zu weit entwickelt werden.

Arten von Ensembles

Bayes Optimal Classifier

Der Bayes Optimal Classifier liefert stets das beste Ergebnis folgender Formel:

$y=\mathrm {argmax} _{c_{j}\in C}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(T|h_{i})P(h_{i})}$

Es kann sogar gezeigt werden, dass kein anderes Ensemble diese Methode im Durchschnitt übertreffen kann. Leider lässt sich dieses Verfahren nicht praktisch einsetzen, da $argmax$ über alle Hypothesen im Hypothesenraum iteriert und dieser Raum in den allermeisten Fällen viel zu groß zum Abzählen ist.

Bootstrap Aggregation(Bagging)

Hautpartikel: Bagging

Bagging kombiniert mehrere Vorhersagen aus Regressions- oder Klassifikationsmodellen, wobei die einzelnen Vorhersagen gleich gewichtet und am Ende der Durchschnitt der Vorhersagen bestimmt wird.