ASE2: Convergence et estimation - 3

Lien de la note Hackmd

$\bar X$ est un exemple d’estimateur de la moyenne $m=E(X)$ (sert a approximer la moyenne de la population globale)

Utile quand on a un parametre inconnu.

Definition: On appelle variance empirique, la statistique :

$$S^2=\frac{1}{n}\sum_{i=1}^n(X_i-\bar X)^2$$

Proposition

$$S^2 = \frac{1}{n}\sum_{i=1}^nX_i^2-(\bar X)^2$$

Demo

$$\begin{aligned} S^2&=\frac{1}{n}\sum_{i=1}^n(X_i-\bar X) = \frac{1}{n}\sum_{i=1}^n(X_i^2 - X_i\bar X+\bar X^2)\\ &= \frac{1}{n}\sum_{i=1}^nX_i^2-2\bar X\sum_{i=1}^nX_i+\frac{n}{n}\bar X^2\\ &= \frac{1}{n}\sum_{i=1}^nX_i^2-2\bar X^2+\bar X=\frac{1}{n}\sum_{i=1}^nX_i^-(\bar X) \end{aligned}$$

Montrons que $S^2\to^P\sigma^2$ lorsque $n\to+\infty$

D’après la loi des grands nombres, on a: $\bar X=\frac{1}{n}\sum_{i=1}^nX_i\to^Pm=E(X)$ quand $n\to+\infty$ et $\frac{1}{n}\sum_{i=1}^nX_i^2\to^PE(X^2)$ quand $n\to+\infty$ Donc $S^2=\frac{1}{n}\sum_{i=1}^nX_i^2-(\bar X)^2\to^PE(X^2)-E^2(X)=\sigma^2=V(X)$

$S^2$ est un estimateur de la variance.

Definition On considère une population $X$, distribuée suivant une loi de probabilité qui dépend d’un paramètre $\theta$ inconnu. On prélève un échantillon $(X_1,X_2,…,X_n)$ de $X$, on appelle estimateur de $\theta$, toute variable aléatoire $T_n$ fonction de l’échantillon:

$$T_n=f(X_1,X_2,...X_n)$$

On appelle biais de l’estimateur la quantité $b(T_n)=E(T_n)-\theta$

On dit que l’estimateur est sans biais si $b(T_n)=0\Leftrightarrow E(T_n)=\theta$.

Comme exemple $\bar X$ est un estimateur sans biais de $m=E(X)$ puisque $E(\bar X) = m$

Definition On dit qu’une suite $(T_n)$ d’estimateurs de $\theta$ est asymptotiquement (cad au voisinage de $+\infty$) sans biais et si

$$lim_{n\to+\infty}(E(T_n))=\theta$$

On appelle risque quadratique de $T_n$ ou erreur quadratique: $R(T_n)=E((T_n-\theta)^2)$

Propositiom

Le risque quadratique est :

$$R(T_n) = V(T_n)+(E(T_n)-\theta)^2$$

Démonstration

$$(T_n-\theta)^2=(T_n-E(T_n)+E(T_n)-\theta)^2\\ \begin{aligned} E((T_n-\theta)^2)&=E((T_n-E(T_n))^2)+2E((T_n-E(T_n))(E(T_n)-\theta))+E((E(T_n)-\theta)^2)\\ &= V(T_n)+2(E(T_n)-\theta)(E(T_n)-E(T_n))+(E(T_n)-\theta)^2\\ \end{aligned}\\ \text{Donc } R(T_n) = V(T_n)+(E(T_n)=\theta)^2$$

Remarque

Si l’estimateur est sans biais $b(T_n)=E(T_n)-\theta=0$ Alors $R(T_n)=V(T_n)$ Donc si on a deux estimateurs sans biais du paramètre $\theta$, le plus précis est celui de variance minimale.

Definition On dit que l’estimateur $T_n$ est convergent si cet estimateur converge en probabilité vers le paramètre $\theta$. On ecrira $T_n\to^P\theta$ lorsque $n\to+\infty$

Definition On appelle vraisemblance de $\theta$, la densité de l’échantillon $(X_1,X_2,…,X_n)$:

$$\begin{cases} L(x_1,x_2,...,x_n,\theta)=\Pi_{i=1}^nP(X_i=x_i) &\text{(dans le cas discret)}\\ L(x_1,x_2,...,x_n,\theta)=\Pi_{i=1}^nf(x_i) &\text{(dans le cas continu)} \end{cases}$$