Lien de la note Hackmd
$\bar X$ est un exemple d’estimateur de la moyenne $m=E(X)$ (sert a approximer la moyenne de la population globale)
Utile quand on a un parametre inconnu.
Definition: On appelle variance empirique, la statistique :
\[S^2=\frac{1}{n}\sum_{i=1}^n(X_i-\bar X)^2\]Proposition
\[S^2 = \frac{1}{n}\sum_{i=1}^nX_i^2-(\bar X)^2\]Demo
\[\begin{aligned} S^2&=\frac{1}{n}\sum_{i=1}^n(X_i-\bar X) = \frac{1}{n}\sum_{i=1}^n(X_i^2 - X_i\bar X+\bar X^2)\\ &= \frac{1}{n}\sum_{i=1}^nX_i^2-2\bar X\sum_{i=1}^nX_i+\frac{n}{n}\bar X^2\\ &= \frac{1}{n}\sum_{i=1}^nX_i^2-2\bar X^2+\bar X=\frac{1}{n}\sum_{i=1}^nX_i^-(\bar X) \end{aligned}\]Montrons que $S^2\to^P\sigma^2$ lorsque $n\to+\infty$
D’après la loi des grands nombres, on a: $\bar X=\frac{1}{n}\sum_{i=1}^nX_i\to^Pm=E(X)$ quand $n\to+\infty$ et $\frac{1}{n}\sum_{i=1}^nX_i^2\to^PE(X^2)$ quand $n\to+\infty$ Donc $S^2=\frac{1}{n}\sum_{i=1}^nX_i^2-(\bar X)^2\to^PE(X^2)-E^2(X)=\sigma^2=V(X)$
$S^2$ est un estimateur de la variance.
Definition On considère une population $X$, distribuée suivant une loi de probabilité qui dépend d’un paramètre $\theta$ inconnu. On prélève un échantillon $(X_1,X_2,…,X_n)$ de $X$, on appelle estimateur de $\theta$, toute variable aléatoire $T_n$ fonction de l’échantillon:
\[T_n=f(X_1,X_2,...X_n)\]On appelle biais de l’estimateur la quantité $b(T_n)=E(T_n)-\theta$
On dit que l’estimateur est sans biais si $b(T_n)=0\Leftrightarrow E(T_n)=\theta$.
Comme exemple $\bar X$ est un estimateur sans biais de $m=E(X)$ puisque $E(\bar X) = m$
Definition On dit qu’une suite $(T_n)$ d’estimateurs de $\theta$ est asymptotiquement (cad au voisinage de $+\infty$) sans biais et si
\[lim_{n\to+\infty}(E(T_n))=\theta\]On appelle risque quadratique de $T_n$ ou erreur quadratique: \(R(T_n)=E((T_n-\theta)^2)\)
Propositiom
Le risque quadratique est :
\[R(T_n) = V(T_n)+(E(T_n)-\theta)^2\]Démonstration
\[(T_n-\theta)^2=(T_n-E(T_n)+E(T_n)-\theta)^2\\ \begin{aligned} E((T_n-\theta)^2)&=E((T_n-E(T_n))^2)+2E((T_n-E(T_n))(E(T_n)-\theta))+E((E(T_n)-\theta)^2)\\ &= V(T_n)+2(E(T_n)-\theta)(E(T_n)-E(T_n))+(E(T_n)-\theta)^2\\ \end{aligned}\\ \text{Donc } R(T_n) = V(T_n)+(E(T_n)=\theta)^2\]Remarque
Si l’estimateur est sans biais $b(T_n)=E(T_n)-\theta=0$ Alors $R(T_n)=V(T_n)$ Donc si on a deux estimateurs sans biais du paramètre $\theta$, le plus précis est celui de variance minimale.
Definition On dit que l’estimateur $T_n$ est convergent si cet estimateur converge en probabilité vers le paramètre $\theta$. On ecrira $T_n\to^P\theta$ lorsque $n\to+\infty$
Definition On appelle vraisemblance de $\theta$, la densité de l’échantillon $(X_1,X_2,…,X_n)$:
\[\begin{cases} L(x_1,x_2,...,x_n,\theta)=\Pi_{i=1}^nP(X_i=x_i) &\text{(dans le cas discret)}\\ L(x_1,x_2,...,x_n,\theta)=\Pi_{i=1}^nf(x_i) &\text{(dans le cas continu)} \end{cases}\]