Bootstrap aggregating
![](http://upload.wikimedia.org/wikipedia/commons/thumb/c/c8/Ensemble_Bagging.svg/340px-Ensemble_Bagging.svg.png)
Bootstrap aggregating (Bagging) ist eine Ensemble-learning-Methode, um Vorhersagen aus verschiedenen Regressions- oder Klassifikationsmodellen (mit hoher Varianz in der Vorhersage) zu kombinieren und dadurch die Varianz zu verringern. Die Methode wurde ursprünglich von Leo Breiman entwickelt.[1] Bootstrap aggregating wird beispielsweise bei Random Forests eingesetzt.
Vorgehensweise
[Bearbeiten | Quelltext bearbeiten]Zunächst wird mithilfe des Bootstrapping-Verfahrens Stichprobenwiederholungen des Umfanges aus dem Originaldatensatz erzeugt und auf diesen werden dann Vorhersagemodelle () trainiert. Für einen Wert ergeben sich dann Vorhersagewerte . Die Ergebnisse der Modelle werden dann mit einer Aggregationsfunktion (z. B. Mittelwert, Median, Majority Voting etc.) zusammengefasst:
- Ist der Vorhersagewert eine Klassenzugehörigkeit, dann könnte die am häufigsten vorhergesagte Klasse als Vorhersagewert genommen werden (Aggregierung über Majority-Voting)
- Im Regressionsfall ergibt sich bei Aggregierung über den Mittelwert der Vorhersagewert als
- oder allgemein mit Gewichten
- .
Bei einer Aggregierungsfunktion, welche die einzelnen internen Modelle gewichtet, könnten die Gewichte z. B. von der Qualität der Modellvorhersage abhängen, d. h. „gute“ Modelle gehen mit einem größeren Gewicht ein als „schlechte“ Modelle.
Eigenschaften
[Bearbeiten | Quelltext bearbeiten]Das Bagging führt im Fall von instabilen Modellen, d. h. Modellen, in denen sich die Struktur stark in Abhängigkeit von den Stichprobendaten ändert (siehe z. B. Classification and Regression Trees), meist zu deutlich verbesserten Vorhersagen.
Siehe auch
[Bearbeiten | Quelltext bearbeiten]Einzelnachweise
[Bearbeiten | Quelltext bearbeiten]- ↑ Leo Breiman: Bagging predictors. In: Machine Learning. 24. Jahrgang, Nr. 2, 1996, S. 123–140, doi:10.1007/BF00058655 (psu.edu [PDF]).
Literatur
[Bearbeiten | Quelltext bearbeiten]- Ian H. Witten, Eibe Frank, Mark A. Hall (2011), Data Mining: Practical Machine Learning Tools and Techniques (Third Edition), Morgan Kaufmann