No-free-Lunch-Theoreme

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die No-free-Lunch-Theoreme (engl., etwa Nichts ist umsonst) sind im Wesentlichen zwei Sätze der Informatik, die die Grenzen von Optimierungsalgorithmen bzw. Verfahren des maschinellen Lernens aufzeigen. Sie stellen somit Unmöglichkeitssätze dar, wie auch der gödelsche Unvollständigkeitssatz in der Mathematik oder das Arrow-Theorem in der Sozialwahltheorie. Die Bezeichnung stammt von der englischen Redensart There ain’t no such thing as a free lunch. David Wolpert und William G. Macready entdeckten sie 1995.

Vereinfacht sagen sie aus, dass kein universell gutes Verfahren zur Lösung eines Optimierungsproblems oder zum Abstrahieren von Datensätzen existiert, wenn die Menge aller Probleme[1] bzw. Datensätze[2] betrachtet wird. Ist eine bestimmte Strategie in einem Teilbereich besser als eine andere, so muss sie in einem anderen Teilbereich schlechter sein (Nichts ist umsonst). Insbesondere ergibt sich, dass keine Strategie besser als bloßes Raten ist. Im Alltag können sie meist nicht angewandt werden, da die Menge aller möglichen Probleme in den meisten Fällen schon durch die Naturgesetze stark eingeschränkt wird. Es ist also möglich, für bestimmte Problemmengen Strategien zu entwickeln, die besser sind als andere[3].

In einer verschärften Formulierung von 2001 gilt das No-free-Lunch-Theorem der Optimierung auch für Problemmengen, die unter Permutation abgeschlossen sind[4].

Originalformulierung[Bearbeiten]

Wolpert und Macready veröffentlichten das No-free-Lunch-Theorem zu Optimierungsproblemen, die sich während der Problemsuche nicht ändern, so:

Theorem 1: Für zwei Algorithmen a1 und a2 gilt:
\sum_f P(h_m^y | f, m, a_1) = \sum_f P(h_m^y | f, m, a_2).

Wenn alle Funktionen f gleich wahrscheinlich auftreten, ist die Wahrscheinlichkeit, eine beliebige Folge von m Werten während der Optimierung anzutreffen, nicht vom Optimierungsalgorithmus abhängig.

Versuchte Anwendung auf Evolutionsprozesse[Bearbeiten]

William A. Dembski hat die No-free-Lunch-Theoreme für seine umstrittenen Hypothesen der spezifizierten Komplexität angewandt, die seiner Meinung nach mathematische Schranken für Evolutionsprozesse formulieren.[5] Dembski verwendet diese Schranken als Argument gegen die Evolutionstheorie und für ein Intelligent Design.

Diese Argumentation wird jedoch allgemein als nicht wissenschaftlich seriös betrachtet.[6][7][8][9][10] Neben anderen Einwänden wird hauptsächlich angeführt, dass Evolutionsprozesse nicht als eine Suche nach einem bestimmten von vornherein vorgegebenen optimalen Element innerhalb einer Such-Menge betrachtet werden können, wie es die No-free-Lunch-Theoreme voraussetzen.[7][11] Die darwinsche Evolution ist im Allgemeinen eher als eine „Vermeidungsstrategie“ statt als „Suchstrategie“ zu betrachten, da hauptsächlich Überleben und Reproduktion zählen und nur solche Evolutionsschritte sicher ausgeschlossen sind, die zu Arten führen, welche dazu prinzipiell nicht in der Lage sind. Die No-free-Lunch-Theoreme sind also gar nicht anwendbar.

Ein weiterer Einwand besagt, dass die Theoreme eine Aussage über den Durchschnitt aller denkbaren Probleme machen. In der Evolutionstheorie bedeutet das: gemittelt über alle möglichen Fitnesslandschaften. Über die Effektivität des Prozesses aus Mutation und Selektion für die tatsächlich vorkommenden Fitnesslandschaften können die Theoreme nichts aussagen. Insbesondere sind die Mehrzahl aller theoretisch denkbaren Fitnesslandschaften völlig regellos, während bereits die Naturgesetze eine gewisse Struktur voraussetzen.[9]

Wolpert selbst verwirft Dembskis Ausführungen als unmathematisch (written in jello)[8] und fügt zudem an, dass die Fitnessfunktion evolutionärer Systeme weder als in der Zeit konstant noch als für alle Individuen identisch angesehen werden kann. Dies ist aber eine wichtige Voraussetzung für die No-free-Lunch-Theoreme und macht daher ebenfalls eine Anwendung auf evolutionäre Prozesse unmöglich.[8][9] Tatsächlich konnten Wolpert und Macready für eine bestimmte Klasse solcher ko-evolutionären Systeme die Existenz optimaler Algorithmen beweisen.[12]

Siehe auch[Bearbeiten]

Weblinks[Bearbeiten]

Einzelnachweise[Bearbeiten]

  1. Xinjie Yu, Mitsuo Gen, Introduction to Evolutionary Algorithms: Seite 102
  2. Peter Flach, Machine Learning: The Art and Science of Algorithms that Make Sense of Data: Seite 10.
  3. Raymond Chiong, Nature-Inspired Algorithms for Optimisation, Seite 34.
  4. Anne Auger, Benjamin Doerr, Theory of Randomized Search Heuristics: Foundations and Recent Developments: Seite 258
  5. William A. Dembski, No Free Lunch: Why Specified Complexity Cannot Be Purchased without Intelligence. (Lanham, Md.: Rowman & Littlefield, 2002). ISBN 0-7425-1297-5.
  6. J. Rosenhouse (2002) Probability, Optimization Theory, and Evolution. Evolution, 56(8):1721–1722.
  7. a b H. Allen Orr Book Review of No Free Lunch, Boston Review
  8. a b c David Wolpert (2003) William Dembski’s treatment of the No Free Lunch theorems is written in jello Mathematical Reviews.
  9. a b c Richard Wein (2002) Not a Free Lunch But a Box of Chocolates
  10. M. Perakh (2004) There is a free lunch after all: William Dembski’s wrong answers to irrelevant questions. In M. Young and T. Edis, editors, Why Intelligent Design Fails, chapter 11. Rutgers University Press.
  11. Richard Dawkins, The Blind Watchmaker (New York: W. W. Norton & Company, 1996), Seite 50.
  12. D.H. Wolpert, W.G. Macready: Coevolutionary free lunches. IEEE Transactions on Evolutionary Computation, 2005, 9(6): S. 721–735.