Центральная предельная теорема

Закон больших чисел говорит, что среднее стабилизируется около математического ожидания, а дисперсия — что типичное расстояние между ними равно $\sigma/\sqrt n$. Центральная предельная теорема (central limit theorem, ЦПТ) говорит гораздо больше: форма колебаний почти всегда одна и та же — нормальный колокол, каким бы ни было распределение отдельных слагаемых. Сумма экспоненциальных времён ожидания, число кликов, средняя функция потерь на валидационной выборке и погрешность измерения, сложенная из многих малых возмущений, — все они близки к нормальным. Поэтому нормальное распределение встречается повсюду, и поэтому интервалы погрешности вычисляют по нему.

Обозначения. $X_1, X_2, \dots$ — н.о.р. величины со средним $\mu$ и конечной дисперсией $\sigma^2 > 0$; $S_n = X_1 + \dots + X_n$ и $\bar X_n = S_n / n$. $Z_n = \sqrt n (\bar X_n - \mu)/\sigma = (S_n - n\mu)/(\sigma\sqrt n)$ — стандартизованное среднее; $\Phi$ — функция распределения стандартного нормального распределения.

Теорема#

Для любого $z$

$$P(Z_n \le z) \to \Phi(z) \quad \text{при } n \to \infty .$$

Стандартизованное среднее сходится по распределению (converges in distribution) к $N(0, 1)$. Если отменить стандартизацию, то при большом $n$

$$\bar X_n \approx N\Big(\mu, \frac{\sigma^2}{n}\Big), \qquad S_n \approx N(n\mu, n\sigma^2) .$$

Единственные предположения — независимость, одинаковая распределённость и конечная дисперсия. Слагаемые могут быть дискретными или непрерывными, симметричными или асимметричными. Одна экспоненциальная величина сильно асимметрична; стандартизованные суммы всего нескольких таких величин выглядят уже гораздо симметричнее:

Рисунок

Сумма экспоненциальных величин становится нормальной

Почему нормальное#

Дополнительный материал: доказательство теоремы через характеристические функции. Остальная часть заметки на него не опирается.

Характеристическая функция объясняет результат в четыре строки. Пусть $Y_i = (X_i - \mu)/\sigma$, со средним 0 и дисперсией 1, так что $Z_n = (Y_1 + \dots + Y_n)/\sqrt n$. Для независимых слагаемых характеристическая функция суммы равна произведению их характеристических функций:

$$\psi_{Z_n}(t) = \Big(\psi_Y\big(t/\sqrt n\big)\Big)^n .$$

Около нуля характеристическая функция величины со средним 0 и дисперсией 1 раскладывается как $\psi_Y(s) = 1 - s^2/2 + o(s^2)$. Подставив $s = t/\sqrt n$, получаем

$$\psi_{Z_n}(t) = \Big(1 - \frac{t^2}{2n} + o\big(\tfrac1n\big)\Big)^n \to e^{-t^2/2} ,$$

а это характеристическая функция $N(0, 1)$. Теорема непрерывности Леви (Lévy’s continuity theorem) превращает сходимость характеристических функций в сходимость распределений. Вычисление показывает и то, почему предел универсален: после стандартизации выживают только первые два члена разложения, а они одинаковы для всех распределений с конечной дисперсией. Остаток $o(s^2)$ не требует ничего, кроме конечной дисперсии, и скорости рассуждение не даёт: при одной лишь конечной дисперсии сходимость может быть сколь угодно медленной. Старшие моменты могут даже не существовать. Если конечен третий абсолютный момент, теорема Берри–Эссеена ниже оценивает ошибку величиной порядка $1/\sqrt n$; если конечны и следующие моменты, а слагаемые не сосредоточены на решётке, более точные разложения (Эджворта) показывают, что коэффициент асимметрии входит с порядком $1/\sqrt n$, а куртозис — с порядком $1/n$.

Интервалы погрешности#

Теорема превращает правило $1/\sqrt n$ в вероятности. Поскольку $\bar X_n$ имеет приближённо распределение $N(\mu, \sigma^2/n)$, интервал

$$\bar X_n \pm 1.96\, \frac{\sigma}{\sqrt n}$$

содержит $\mu$ с вероятностью, близкой к $0.95$. У классификатора с долей правильных ответов 0.9 на 1000 независимых тестовых примерах погрешность (error bar) равна $\pm 1.96 \sqrt{0.9 \cdot 0.1/1000} = \pm 0.019$. Для A/B-теста с долями кликов 2.0% и 2.3% и 20 000 пользователей в каждой группе разность имеет стандартную ошибку

$$\sqrt{\frac{0.02 \cdot 0.98}{20\,000} + \frac{0.023 \cdot 0.977}{20\,000}} = 0.00145 ,$$

поэтому наблюдаемая разность $0.003$ отстоит от нуля на $2.07$ стандартной ошибки; если бы истинные доли были равны, разность не меньше этой в ту или другую сторону возникла бы с вероятностью $0.039$. Заметка о доверительных интервалах и заметка о проверке гипотез уточняют эти два утверждения и перечисляют, чего они не означают.

Биномиальное распределение. Биномиальная величина — сумма независимых индикаторов, поэтому $\mathrm{Bin}(n, p) \approx N(np, np(1-p))$; это теорема Муавра–Лапласа, первая версия центральной предельной теоремы, восходящая к XVIII веку. Для 60 или более орлов в 100 бросках честной монеты точная вероятность равна $0.0284$; нормальное приближение $P(Z \ge 2) = 0.0228$ ошибается, потому что дискретная величина приближается непрерывной. Если отсчитывать столбец 60 от его левого края, $P(Z \ge (59.5 - 50)/5) = 0.0287$, ошибка почти исчезает; эта поправка на непрерывность (continuity correction) — стандартный приём для счётных величин.

Как быстро#

Теорема — предельное утверждение, а $n$ всегда конечно. Теорема Берри–Эссеена (Berry–Esseen theorem) ограничивает ошибку функции распределения при каждом $n$:

$$\sup_z \big\lvert P(Z_n \le z) - \Phi(z) \big\rvert \le \frac{C\, E\lvert X - \mu \rvert^3}{\sigma^3 \sqrt n}, \qquad C \le 0.4748 .$$

Эта граница убывает как $1/\sqrt n$, а её величину задаёт третий абсолютный момент, который растёт с асимметрией и тяжестью хвостов. Для сумм экспоненциальных величин на рисунке наибольший разрыв равен $0.159$ при $n = 1$ и $0.024$ при $n = 30$. Медленнее всего сходятся хвосты: для суммы 30 экспоненциальных величин $P(Z_n > 2) = 0.032$ против $0.023$ у нормального распределения.

Асимметричным счётным величинам и числу редких событий нужно большое $n$. Для $\mathrm{Bin}(1000, 0.001)$ со средним 1 вероятность ни одного события равна $0.368$, а нормальное приближение с поправкой на непрерывность даёт $0.308$; здесь правильное — пуассоновское приближение. Распространённое эмпирическое правило требует, чтобы $np$ и $n(1-p)$ были не меньше примерно 10, прежде чем применять нормальное приближение к доле.

Виды сходимости#

Закон больших чисел и центральная предельная теорема используют разные виды сходимости, и различия важны при чтении утверждений об оценках и алгоритмах.

• Почти наверное: $P(X_n \to X) = 1$; с вероятностью 1 реализованная последовательность сходится. Усиленный закон больших чисел.
• В среднем квадратичном: $E[(X_n - X)^2] \to 0$. Доказательство закона больших чисел через дисперсию и обычная формулировка для оценок.
• По вероятности: $P(\lvert X_n - X \rvert \ge \varepsilon) \to 0$ при любом $\varepsilon$. Слабый закон больших чисел и состоятельность оценок.
• По распределению: $P(X_n \le x) \to P(X \le x)$ в каждой точке, где предельная функция распределения непрерывна. Центральная предельная теорема.

Рисунок

Виды сходимости случайных величин

Сходимость по распределению самая слабая: она ничего не говорит о самих случайных величинах, только об их распределениях. Стандартизованные средние $Z_n$ не приближаются ни к какой конкретной случайной величине; $Z_n$ и $Z_{2n}$ лишь частично коррелированы, как бы велико ни было $n$. Заметка о законе больших чисел привела пример сходимости по вероятности без сходимости почти наверное; последовательность, которая сходится к $X$ по распределению, но не сходится к $X$ по вероятности, — это $X_n = -X$ для стандартной нормальной $X$: при каждом $n$ она имеет распределение $X$, но не приближается к самой $X$. По вероятности она сходится — к $-X$. Последовательность, у которой вовсе нет предела по вероятности, — это $X_n = (-1)^n X$: каждая $X_n$ стандартно нормальна, так что сходимость по распределению есть, но $X_{n+1} - X_n = \pm 2X$ не уменьшается.

Когда теорема не работает#

• Бесконечная дисперсия. Среднее $n$ стандартных величин Коши снова имеет стандартное распределение Коши; ничего не становится нормальным. Для хвостов вида $x^{-\alpha}$ с $1 < \alpha < 2$ суммы после центрирования и нормировки сходятся, но нормировать нужно на $n^{1/\alpha}$, а не на $\sqrt n$, и предел — не нормальное, а устойчивое распределение (stable distribution) с тяжёлыми хвостами.
• Несколько слагаемых доминируют. Для независимых, но не одинаково распределённых слагаемых условие Линдеберга (Lindeberg condition) требует, чтобы ни одно слагаемое не несло заметной доли общей дисперсии. Сумма одной огромной погрешности измерения и многих малых имеет форму распределения огромной.
• Сильная зависимость. Слабо зависимые последовательности, например большинство цепей Маркова, по-прежнему подчиняются центральной предельной теореме, но с изменённой, обычно увеличенной, дисперсией; сильно зависимые, например суммы медленно меняющегося тренда, — не обязательно.

Что изменилось#

	Закон больших чисел	Центральная предельная теорема
Утверждение	$\bar X_n \to \mu$	$\sqrt n(\bar X_n - \mu)/\sigma \to N(0, 1)$ по распределению
Что даёт	куда идёт среднее	форму и размер его колебаний
Применение	состоятельность, метод Монте-Карло	интервалы погрешности, тесты, нормальное приближение для счётных величин
Скорость		Берри–Эссеен: ошибка функции распределения $\le 0.4748\, E\lvert X - \mu\rvert^3 / (\sigma^3\sqrt n)$

Ограничения#

• «Большое $n$» зависит от распределения. Асимметричным слагаемым, редким событиям и вероятностям хвостов нужны гораздо большие выборки, чем подсказывает форма колокола около центра.
• Независимость — самое сильное предположение. Кластеризованные данные (несколько примеров на пользователя, документ, больницу) делают реальную стандартную ошибку больше $\sigma/\sqrt n$; тогда интервалы погрешности нужно вычислять по кластерам.
• Теорема — о суммах. Другие статистики — максимумы, медианы малых выборок, отношения — требуют отдельного анализа; максимум, например, сходится к распределению экстремальных значений, а не к нормальному.

Что нужно запомнить#

• Для н.о.р. слагаемых с конечной дисперсией $\sqrt n(\bar X_n - \mu)/\sigma \to N(0, 1)$ по распределению: $\bar X_n \approx N(\mu, \sigma^2/n)$.
• В пределе важны только среднее и дисперсия слагаемых; одна лишь конечная дисперсия скорости не даёт, а при конечном третьем абсолютном моменте ошибка функции распределения имеет порядок $1/\sqrt n$ (Берри–Эссеен).
• Интервал погрешности среднего: $\pm 1.96\, \sigma/\sqrt n$ для примерно 95%; для счётных величин нужна поправка на непрерывность.
• Берри–Эссеен: ошибка функции распределения не больше $0.4748\, E\lvert X - \mu\rvert^3/(\sigma^3\sqrt n)$; хвосты и асимметричные слагаемые сходятся медленно.
• Почти наверное или в среднем квадратичном ⇒ по вероятности ⇒ по распределению; ЦПТ — утверждение о сходимости по распределению.
• Бесконечная дисперсия (Коши, тяжёлые хвосты), доминирующие слагаемые или сильная зависимость ломают теорему.

Код#

Разрывы с рисунка, вычисленные по точным гамма-распределениям, интервалы погрешности, нормальное приближение к биномиальному распределению и симуляция:

import numpy as np, math
from scipy import stats

# standardized sums of n exponentials: the largest CDF gap to the normal, and P(Z > 2)
for n in (1, 2, 5, 30):
    S = stats.gamma(n)                                             # the sum of n independent Exp(1)
    z = np.linspace(-6, 8, 140_001)
    gap = np.abs(S.cdf(n + math.sqrt(n) * z) - stats.norm.cdf(z)).max()
    print(n, round(float(gap), 3), round(float(S.sf(n + 2 * math.sqrt(n))), 4))
print(round(float(stats.norm.sf(2)), 4))
# 1 0.159 0.0498 | 2 0.094 0.0466 | 5 0.06 0.041 | 30 0.024 0.0316 | normal 0.0228

# error bar for accuracy 0.9 on 1,000 examples; A/B test of click rates 2.0% and 2.3%, 20,000 users each
print(round(1.96 * math.sqrt(0.9 * 0.1 / 1000), 4))               # 0.0186
se = math.sqrt(0.02 * 0.98 / 20_000 + 0.023 * 0.977 / 20_000)
print(round(se, 5), round(0.003 / se, 2), round(float(2 * stats.norm.sf(0.003 / se)), 3))   # 0.00145 2.07 0.039

# 60 or more heads in 100 flips: exact, normal, normal with continuity correction
print(round(float(stats.binom(100, 0.5).sf(59)), 4), round(float(stats.norm.sf(2)), 4), round(float(stats.norm.sf(1.9)), 4))   # 0.0284 0.0228 0.0287

# a rare event is far from normal: Bin(1000, 0.001), P(X = 0) exact and by the normal approximation
print(round(float(stats.binom(1000, 0.001).pmf(0)), 3), round(float(stats.norm.cdf(-0.5 / math.sqrt(0.999))), 3))   # 0.368 0.308

# simulation: standardized sums of 30 exponentials
rng = np.random.default_rng(0)
s = (rng.exponential(size=(200_000, 30)).sum(axis=1) - 30) / math.sqrt(30)
print(round(float((np.abs(s) < 1.96).mean()), 4), round(float((s > 2).mean()), 4))   # 0.9522 0.0311

Дальше#

Предельные теоремы говорят о средних сэмплов из известного распределения. Статистика переворачивает вопрос: что по сэмплам можно сказать о распределении? Следующая заметка открывает раздел о статистике оценками — функциями от данных, которые угадывают параметр, — а также смещением, дисперсией и среднеквадратичной ошибкой, которые измеряют, насколько хорошо они это делают.

Литература#

• J. K. Blitzstein, J. Hwang. Introduction to Probability, 2nd ed. CRC Press, 2019. Глава 10 (центральная предельная теорема).
• W. Feller. An Introduction to Probability Theory and Its Applications, Vol. 2, 2nd ed. Wiley, 1971. Глава XV (характеристические функции и центральная предельная теорема), глава XVI (теорема Берри–Эссеена).
• A. N. Shiryaev. Probability-1, 3rd ed. Springer, 2016. Глава 3 (центральная предельная теорема, условие Линдеберга, скорость сходимости).
• I. Shevtsova. On the absolute constants in the Berry–Esseen type inequalities for identically distributed summands. arXiv:1111.6554, 2011. Константа 0.4748.