Concentration et loi des grands nombres

L'inégalité de Bienayme-Tchebychev est un résultat fondamental qui borne la probabilité qu'une variable aléatoire s'ecarte de son esperance. Pour toute variable aléatoire X d'esperance $mu = E(X) et de variance sigma^2 = V(X)$, et pour tout réel a > 0, on a : P(|X - mu| >= a) <= sigma^2 / a^2. Autrement dit, la probabilité que X s'ecarte de sa moyenne de plus de a est au plus sigma^2/a^2. Cette inégalité est remarquable par sa generalite : elle s'applique a toute variable aléatoire ayant une esperance et une variance finies, quelle que soit sa loi. En contrepartie, la borne fournie est souvent pessimiste (grossiere) par rapport a la valeur exacte de la probabilité. Par exemple, pour $a = 2*sigma : P(|X - mu| >= 2*sigma) <= sigma^2/(4*sigma^2) = 1/4 = 0$.25. Et pour $a = 3*sigma : P(|X - mu| >= 3*sigma) <= sigma^2/(9*sigma^2) = 1/9 environ 0$.111. La borne decroit en 1/a^2, ce qui montre que les grandes deviations sont de plus en plus improbables. L'inégalité de Bienayme-Tchebychev est essentielle car elle permet de démontrer la loi des grands nombres sans connaitre la loi exacte de la variable aléatoire. Elle donne aussi une interpretation de la variance comme mesure de la concentration de la distribution autour de sa moyenne.

L'inégalité de concentration est l'application de l'inégalité de Bienayme-Tchebychev a la moyenne d'un echantillon. Soit X1, X2, ..., Xn des variables aleatoires indépendantes et de meme loi (iid), d'esperance mu et de variance sigma^2. On note $Mn = (X1 +$... + Xn)/n la moyenne d'echantillon. On sait que E(Mn) = mu et V(Mn) = sigma^2/n. En appliquant Bienayme-Tchebychev a Mn avec un seuil epsilon > 0 : P(|Mn - mu| >= epsilon) <= V(Mn) / epsilon^2 = sigma^2 / (n * epsilon^2). C'est l'inégalité de concentration. Elle montre que la probabilité que la moyenne d'echantillon s'ecarte de l'esperance theorique de plus de epsilon decroit comme 1/n. Plus l'echantillon est grand, plus la moyenne se concentre autour de mu. Pour un epsilon fixe, on peut rendre cette probabilité aussi petite que l'on veut en choisissant n suffisamment grand. Par exemple, si on veut P(|Mn - mu| >= epsilon) <= alpha, il suffit de prendre n >= sigma^2 / (alpha * epsilon^2). C'est cette inégalité qui justifie que les sondages deviennent plus fiables quand la taille de l'echantillon augmente. Elle est aussi la clef de la démonstration de la loi des grands nombres. L'inégalité de concentration fonctionne sans hypothèse sur la loi des Xi (autre que l'existence de la variance), ce qui en fait un outil universel.

La loi (faible) des grands nombres est l'un des théorèmes les plus importants des probabilités. Elle énoncé que la moyenne d'un echantillon converge en probabilité vers l'esperance quand la taille de l'echantillon tend vers l'infini. Formellement : soit X1, X2, ..., Xn des variables aleatoires indépendantes et de meme loi, d'esperance mu et de variance sigma^2 finie. Pour tout epsilon > 0, on a : lim(n vers l'infini) P(|Mn - mu| >= epsilon) = 0, ou $Mn = (X1 + $... + Xn)/n. Cette convergence decoule directement de l'inégalité de concentration : P(|Mn - mu| >= epsilon) <= sigma^2/(n*epsilon^2), et le membre de droite tend vers 0 quand n tend vers l'infini. La loi des grands nombres donne une interpretation frequentiste des probabilités : la frequence d'apparition d'un événement dans une suite d'experiences indépendantes converge vers la probabilité theorique de cet événement. Par exemple, si on lance une piece equilibree un tres grand nombre de fois, la frequence d'apparition de Face converge vers 0.5. C'est ce qu'on observe dans les simulations informatiques. La loi des grands nombres justifie également l'utilisation de la moyenne empirique comme estimateur de l'esperance : plus on observe, plus la moyenne observee est proche de la moyenne theorique. Attention : la loi des grands nombres ne dit pas que chaque echantillon donnera exactement la bonne valeur. Elle dit que la probabilité d'un grand ecart tend vers zero. Des fluctuations sont toujours possibles, mais elles deviennent de plus en plus improbables.

L'estimation d'une proportion est une application directe de la loi des grands nombres. On cherche a estimer une proportion inconnue p dans une population a partir d'un echantillon de taille n. On observe la frequence $f = k/n des succes dans l'echantillon $. La frequence f est un estimateur naturel de p. L'intervalle de confiance au niveau de confiance 95% pour la proportion p est donne par : [f - 1/$sqrt{n}$, f + 1/$sqrt{n}$]. Cet intervalle a ete simplifie dans le programme de Terminale par rapport a la formule exacte. La formule exacte est [f - 1.96*$sqrt{f(1-f)/n}$, f + 1.96*$sqrt{f(1-f)/n}$], mais la formule simplifiee [f - 1/$sqrt{n}$, f + 1/$sqrt{n}$] est une majoration commode qui s'utilise sans connaitre la valeur exacte de f(1-f). La demi-longueur de l'intervalle, 1/$sqrt{n}$, est la marge d'erreur. Pour reduire la marge d'erreur, il faut augmenter n. Par exemple, pour une marge d'erreur de 0.03 (3 points de pourcentage), il faut n >= (1/0.03)^2 environ 1112. Pour une marge de 0.01 (1 point), il faut n >= 10000. La taille de l'echantillon requise croit en 1/epsilon^2 ou epsilon est la marge d'erreur souhaitee. L'interpretation de l'intervalle de confiance au niveau 95% est la suivante : si on repete le sondage un grand nombre de fois (dans les memes conditions), environ 95% des intervalles construits contiendront la vraie valeur de p. Ce n'est pas que p a 95% de chances d'etre dans l'intervalle (p est fixe, pas aléatoire). C'est l'intervalle qui est aléatoire.