Benutzer:Mathelerner/Approximationssatz von Stone-Weierstrass

Approximationssatz von Stone-Weierstrass

Aussage

Seien $a,b\in \mathbb {R}$ beliebig und $f:[a,b]\mapsto \mathbb {R}$ eine stetige Funktion. Dann gilt für alle $\epsilon >0$: Es existiert ein Polynom $\mathbf {P}$, das $\forall x\in [a,b]:|f(x)-\mathbf {P} (x)|<\epsilon$ erfüllt.

Beweis

Teil 1

Ohne Beschränkung der Allgemeinheit gelte $a=0,b=1$.

Sei $K$ eine binomialverteilte Zufallsvariable mit den Parametern $n$ der Anzahl der Versuche bis zum ersten Erfolg (bei einer Folge unabhängiger Bernoulli-Versuche) und Erfolgswahrscheinlichkeit $p$. Dann gilt $\mathbb {E} \left[{\frac {K}{n}}\right]=p$.

Mit dem schwachen Gesetz der großen Zahlen ($\mathbb {E} [K/n]=p$!) folgt

$\lim _{n\to \infty }{P\left(\left|{\frac {K}{n}}-p\right|>\delta \right)}=0$

für alle $\delta >0$ (Konvergenz in Wahrscheinlichkeit von $K/n$gegen $p$).

Diese Konvergenz bzgl. $n$ ist sogar gleichmäßig in $p$, weil gemäß dem folgenden Lemma die Varianz von $K/n$ durch eine Nullfolge ohne Abhängigkeit von $p$ nach oben hin und nach unten hin durch 0 beschränkt ist.

Lemma

Die Varianz von $K/n$ ist beschränkt durch ${\frac {1}{4n}}$.

Beweis des Lemmas

Da $K$ binomialverteilt ist, ist

${\begin{aligned}Var(K/n)&={\frac {Var(K)}{n^{2}}}\\&={\frac {np(1-p)}{n^{2}}}\\&={\frac {p(1-p)}{n}}\\&={\frac {-p^{2}+p}{n}}\end{aligned}}$

. Wir suchen das globale Maximum bezüglich $p$ auf $[0,1]$.

${\begin{aligned}0&={\frac {\partial Var(K/n)}{\partial p}}={\frac {-2p+1}{n}}\\0&=-2p+1\\-1&=-2p\\p&={\frac {1}{2}}\end{aligned}}$

. Bei ${\hat {p}}:={\frac {1}{2}}$ befindet sich also ein lokaler Extremwert. Wegen

${\frac {\partial ^{2}Var(K/n)}{\partial ^{2}p}}=-2>0$

an der Stelle ${\hat {p}}$ ist dieses lokale Extremum ein lokales Maximum. Auf dem Rand (für $p=0$ oder $p=1$) ist die Varianz 0 und damit kleiner dem lokalen Maximum. Also liegt bei ${\hat {p}}$ ein globales Maximum mit Funktionswert $Var(K/n)\left({\frac {1}{2}}\right)={\frac {1}{4n}}$.

Beweis des Satzes Teil 2

Das Intervall $[0,1]$ ist abgeschlossen und beschränkt, also kompakt (Satz von Heine-Borel). $f$ ist stetig (in $p$), also insbesondere fast überall stetig. $f$ ist stetig, also messbar. Außerdem ist $f$ auf einem kompakten Intervall definiert.

Also ist $f$ auf diesem Intervall auch gleichmäßig stetig und beschränkt (durch $p$, eine integrierbare Funktion mit endlichem Erwartungswert, siehe Lemma).

Daraus folgt für alle $\varepsilon >0$ die gleichmäßige Konvergenz in Wahrscheinlichkeit in $p$ (nach dem gleichmäßigen Gesetz der großen Zahl, ), also${\displaystyle }$

$\lim _{n\to \infty }{P\left(\left|f\left({\frac {K}{n}}\right)-f\left(x\right)\right|>\varepsilon \right)}=0$.

(siehe auch hier????????) Aus der Beschränktheit von $f$ (auf dem gegebenen Intervall) folgt mit dem Satz über die majorisierte Konvergenz für Zufallsvariablen die (gleichmäßige, weil Absolutbetrag unabhängig von $x$ beschränkt und damit Erwartungswert ebenso (Monotonie des Erwartungswertes)) Konvergenz der Erwartungswerte

$\lim _{n\to \infty }{E\left[\left|f\left({\frac {K}{n}}\right)-f\left(x\right)\right|\right]}=0$.

Lemma 2

Für alle Funktionen $f$ und alle natürlichen Zahlen $n$ gilt:

$f(x)=\sum _{k=0}^{n}f(x){n \choose k}p^{k}(1-p^{n-k})$

Beweis des Lemmas 2

${\begin{aligned}f(x)&=f(x)\times 1^{n}\\&=f(x)\times (p+1-p)^{n}\\&=f(x)\times \sum _{k=0}^{n}{n \choose k}p^{k}(1-p)^{n-k}\\&=\sum _{k=0}^{n}f(x){n \choose k}p^{k}(1-p)^{n-k}\end{aligned}}$

aufgrund des Binomischen Lehrsatzes.

Beweis des Satzes Teil 3

Gemäß dem Lemma 2 gilt $|f(K/n)-f(p)|=\sum _{k=0}^{n}|f(K/n)-f(p)|{n \choose k}p^{k}(1-p)^{n-k}$. Sei $\varepsilon >0$. Wegen der Stetigkeit von $f$existiert dann ein $\delta >0$, sodass gilt:

$\forall x,y\in [a,b]:|x-y|<\delta \implies |f(x)-f(y)|<\varepsilon /2.$

Zerlege die Summe in zwei Teile:

• einen Teil $A$mit $k$-Werten, die $|k/n-x|<\delta$erfüllen und
• einen Teil $B$mit $k$-Werten, die diese Bedingung nicht erfüllen.

Wegen der Stetigkeit von $f$gilt für alle Summenglieder von $A$: $|f(K(x)/n)-f(x)|<\varepsilon /2$und für all jene von $B$: $|f(K(x)/n)-f(x)|<M+M=2M$ wegen der Beschränktheit von $f$auf $[a,b]$. Daraus ergibt sich:

${\begin{aligned}\mathbb {E} \left[|f(K/n)-f(x)|\right]&=\mathbb {E} \left[\sum _{k=0}^{n}|f(K/n)-f(x)|{n \choose k}p^{k}(1-p)^{n-k}\right]\\&\leq \mathbb {E} \left[(\mathbf {1} _{k{\text{ wie in }}A})\times \varepsilon /2\right]+\mathbb {E} \left[(\mathbf {1} _{k{\text{ wie in }}B})\times 2M\right]\\&=P(k{\text{ wie in }}A)\times \varepsilon /2+P(k{\text{ wie in }}B)\times 2M\\&\leq 1\times \varepsilon /2+2M{\frac {\varepsilon }{4n}}\\&=\varepsilon \end{aligned}}$

. Mit der Dreiecksgleichung des Erwartungswertes und seiner Linearität folgt für ein beliebiges, fixes $x$:

${\begin{aligned}\mathbb {E} \left[|f(K/n)-f(x)|\right]&\geq |\mathbb {E} \left[f(K/n)-f(x)\right]|\\&=|\mathbb {E} \left[f(K/n)\right]-\mathbb {E} \left[f(x)\right]|\\&=|\mathbb {E} \left[f(K/n)\right]-f(x)|\end{aligned}}$

. Definiere die Bernstein-Polynome durch

${\begin{aligned}B_{n}(f)(x):=\sum _{\nu =0}^{n}f\left({\frac {\nu }{n}}\right)b_{\nu ,n}(x)\end{aligned}}$

mit $b_{\nu ,n}(x)={n \choose \nu }x^{\nu }\left(1-x\right)^{n-\nu },\quad \nu =0,\ldots ,n.$

Dann genügt es, Lemma 3 zu zeigen, denn dann ist zusammengefasst (mit $\mathbf {P} :=B_{n}(f)$):

${\begin{aligned}|B_{n}(f)(x)-f(x)|&=|\mathbb {E} [f(K/n)]-f(x)|\\&\leq \mathbb {E} [|f(K/n)-f(x)|]\\&\leq \varepsilon .\end{aligned}}$

Lemma 3

$\mathbb {E} [f(K/n)]=B_{n}(f)(x)$

Beweis

Es folgt schrittweise aus dem Gesetz des bewusstlosen Statistikers (»law of unconscious statistician«), der Berechnung der Wahrscheinlichkeitsfunktion und dem Einsetzen der Wahrscheinlichkeitsfunktion der Binomialverteilung das Ergebnis.

${\begin{aligned}\mathbb {E} [f(K/n)]&=\sum _{\nu =0}^{n}f(\nu /n)f_{K/n}(\nu /n)\\&=\sum _{\nu =0}^{n}f(\nu /n)f_{K}(n\nu /n)\left|{\frac {dn\nu /n}{d\nu }}\right|\\&=\sum _{\nu =0}^{n}f(\nu /n)f_{K}(\nu )\left|{\frac {d\nu }{d\nu }}\right|\\&=\sum _{\nu =0}^{n}f(\nu )f_{K}(\nu )\left|1\right|\\&=\sum _{\nu =0}^{n}f(\nu )f_{K}(\nu )\\&=\sum _{\nu =0}^{n}f\left({\frac {\nu }{n}}\right){n \choose \nu }x^{\nu }\left(1-x\right)^{n-\nu }\end{aligned}}$