Математическое ожидание и дисперсия

Распределение — это целая функция, а большинству вопросов нужно гораздо меньше: где его центр и как далеко от центра обычно оказываются значения? На эти два вопроса отвечают математическое ожидание и дисперсия. Это также величины, которые машинное обучение оптимизирует и приводит в отчётах: риск — это математическое ожидание функции потерь, доля правильных ответов (accuracy) — математическое ожидание индикатора, а погрешность (error bar) результата на бенчмарке — стандартное отклонение. В этой заметке мы определяем обе величины, показываем единственное свойство, благодаря которому математические ожидания легко вычислять, — линейность — и выводим правило $1/\sqrt n$ для средних, которое вводная заметка сформулировала без доказательства.

Обозначения. $E[X]$ — математическое ожидание (среднее) величины $X$, часто обозначаемое $\mu$; $\operatorname{Var}(X)$ — её дисперсия, $\sigma^2$; $\sigma = \sqrt{\operatorname{Var}(X)}$ — её стандартное (среднеквадратичное) отклонение. Величины $X_1, \dots, X_n$ называются независимыми и одинаково распределёнными (н.о.р., i.i.d.), если они независимы и имеют одно и то же распределение; $\bar X_n = (X_1 + \dots + X_n)/n$ — их среднее.

Математическое ожидание#

Математическое ожидание взвешивает каждое значение его вероятностью:

$$E[X] = \sum_k k\, P(X = k) \quad \text{(дискретная)}, \qquad E[X] = \int_{-\infty}^{\infty} x\, f_X(x)\, dx \quad \text{(непрерывная)} .$$

У честной кости $E[X] = (1 + 2 + \dots + 6)/6 = 3.5$ — значение, которое на ней никогда не выпадает. Два прочтения делают определение естественным. Физически $E[X]$ — точка равновесия: стержень, нагруженный массами $P(X = k)$ в точках $k$, уравновешивается на опоре, поставленной именно туда. Статистически это среднее в длинной серии: среднее многих независимых копий $X$ приближается к $E[X]$, что докажет закон больших чисел. У распределений из предыдущих заметок такие средние:

Распределение	$\mathrm{Bernoulli}(p)$	$\mathrm{Bin}(n, p)$	$\mathrm{Geom}(p)$	$\mathrm{Poisson}(\lambda)$	$U(a, b)$	$\mathrm{Exp}(\lambda)$	$N(\mu, \sigma^2)$
Среднее	$p$	$np$	$1/p$	$\lambda$	$(a+b)/2$	$1/\lambda$	$\mu$

Среднее — лишь один из возможных центров. У симметричного распределения среднее и медиана совпадают; у асимметричного они расходятся, и среднее смещается в сторону длинного хвоста:

Рисунок

Мода, медиана и среднее асимметричного распределения

Поэтому в отчётах о доходах или ценах на жильё приводят медиану: несколько очень больших значений сдвигают среднее гораздо сильнее, чем медиану.

Линейность#

Для любых случайных величин и констант

$$E[aX + bY + c] = a E[X] + b E[Y] + c .$$

Если записать математическое ожидание как взвешенную сумму по исходам, а не по значениям, оно линейно по случайной величине, поэтому доказательство занимает одну строку, и независимость для него не нужна. Сила линейности математического ожидания — в индикаторах: $E[\mathbb 1_A] = 1 \cdot P(A) + 0 \cdot P(A^c) = P(A)$. Число произошедших событий — сумма индикаторов, поэтому его математическое ожидание — сумма вероятностей, как бы события ни зависели друг от друга.

• Среднее биномиального распределения. $X \sim \mathrm{Bin}(n, p)$ — сумма $n$ индикаторов, каждый с вероятностью $p$: $E[X] = np$, без обращения к функции вероятности.
• «Тайный Санта». В заметке об аксиомах понадобилась формула включений–исключений, чтобы найти, что никто не вытянет своё имя с вероятностью, близкой к $1/e$. Математическое ожидание числа людей, вытянувших своё имя, находится в одну строку: человек $i$ вытягивает своё имя с вероятностью $1/n$, поэтому математическое ожидание равно $n \cdot \frac1n = 1$ при любом размере группы.
• Совпадение дней рождения. Среди 23 человек $\binom{23}{2} = 253$ пары, и в каждой день рождения совпадает с вероятностью $1/365$; математическое ожидание числа пар с общим днём рождения равно $253/365 = 0.69$.
• Задача о собирателе купонов (coupon collector). Сколько бросков кости нужно, чтобы выпала каждая грань? Разобьём время ожидания на шесть этапов, по одному на каждую новую грань; каждый этап имеет геометрическое распределение, и линейность складывает их средние:

Рисунок

Сколько бросков нужно, чтобы увидеть все грани кости

При $n$ равновероятных купонах то же рассуждение даёт $n (1 + \frac12 + \dots + \frac1n) \approx n (\ln n + 0.58)$: около 519 пакетиков, чтобы собрать коллекцию из 100 наклеек, причём большая их часть уходит на последние несколько.

Математическое ожидание функции#

Чтобы найти $E[g(X)]$, не нужно сначала находить распределение $g(X)$: достаточно взвесить $g$ от каждого значения вероятностью этого значения,

$$E[g(X)] = \sum_k g(k)\, P(X = k), \qquad E[g(X)] = \int g(x)\, f_X(x)\, dx .$$

Для логнормальной величины $Y = e^X$ с $X \sim N(0, 1)$ из предыдущей заметки выделение полного квадрата даёт

$$E[e^X] = \int e^x \frac{e^{-x^2/2}}{\sqrt{2\pi}}\, dx = e^{1/2} \int \frac{e^{-(x-1)^2/2}}{\sqrt{2\pi}}\, dx = e^{1/2} = 1.6487 ,$$

это и есть среднее на рисунке выше. Оно не равно $e^{E[X]} = e^0 = 1$: в общем случае $E[g(X)] \ne g(E[X])$. Для выпуклой $g$ (функции, график которой изгибается вверх) у неравенства есть направление — это неравенство Йенсена:

$$E[g(X)] \ge g(E[X]) .$$

При $g(x) = x^2$ оно даёт $E[X^2] \ge (E[X])^2$. Для вогнутой функции $\log$ неравенство меняет направление, $E[\log X] \le \log E[X]$, и эта одна строка даёт нижнюю оценку обоснованности (evidence lower bound, ELBO) вариационного автоэнкодера и тот факт, что расхождение Кульбака–Лейблера (KL-дивергенция) из заметки об энтропии никогда не бывает отрицательным. На практике это предостережение: функция потерь, усреднённая по предсказаниям, — не то же самое, что функция потерь от среднего предсказания.

Дисперсия#

Дисперсия измеряет типичное квадратичное отклонение от среднего:

$$\operatorname{Var}(X) = E\big[(X - \mu)^2\big] = E[X^2] - \mu^2 .$$

Вторая форма следует из линейности: $E[X^2 - 2\mu X + \mu^2] = E[X^2] - 2\mu^2 + \mu^2$. Для кости $E[X^2] = 91/6$, поэтому $\operatorname{Var}(X) = 91/6 - 3.5^2 = 35/12 \approx 2.92$ и $\sigma \approx 1.71$. Стандартное отклонение измеряется в тех же единицах, что и $X$, поэтому именно его приводят в отчётах; а складываются дисперсии.

Распределение	$\mathrm{Bernoulli}(p)$	$\mathrm{Bin}(n, p)$	$\mathrm{Geom}(p)$	$\mathrm{Poisson}(\lambda)$	$U(a, b)$	$\mathrm{Exp}(\lambda)$	$N(\mu, \sigma^2)$
Дисперсия	$p(1-p)$	$np(1-p)$	$(1-p)/p^2$	$\lambda$	$(b-a)^2/12$	$1/\lambda^2$	$\sigma^2$

Большую часть работы делают два правила. Сдвиг не меняет разброс, а масштабирование умножает его: $\operatorname{Var}(aX + b) = a^2 \operatorname{Var}(X)$. А для независимых $X$ и $Y$ дисперсии складываются: $\operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)$; заметка о совместных распределениях доказывает это и показывает дополнительное ковариационное слагаемое для зависимых величин.

Правило $1/\sqrt n$. Для н.о.р. $X_1, \dots, X_n$ с дисперсией $\sigma^2$ эти два правила дают

$$\operatorname{Var}(\bar X_n) = \frac{1}{n^2} \cdot n \sigma^2 = \frac{\sigma^2}{n}, \qquad \operatorname{sd}(\bar X_n) = \frac{\sigma}{\sqrt n} .$$

По дисперсии среднее в $n$ раз менее изменчиво, чем одно наблюдение, а по стандартному отклонению — лишь в $\sqrt n$ раз. Если классификатор с истинной долей правильных ответов $0.9$ проверяют на 1000 независимых тестовых примерах, измеренная доля правильных ответов имеет стандартное отклонение $\sqrt{0.9 \cdot 0.1 / 1000} = 0.0095$, около одного процентного пункта; чтобы уменьшить его вдвое, нужно 4000 примеров.

Производящая функция моментов и характеристическая функция#

Дополнительный материал: моменты старше дисперсии и преобразования, которые превращают суммы в произведения и доказывают центральную предельную теорему. Остальная часть заметки на него не опирается.

Среднее и дисперсия выражаются через первые два момента $E[X^k]$, $k = 1, 2$. Третий и четвёртый стандартизованные моменты, $E[(X - \mu)^3]/\sigma^3$ и $E[(X - \mu)^4]/\sigma^4$, — это коэффициент асимметрии (skewness) и куртозис (kurtosis; коэффициент эксцесса без вычитания 3): перекос распределения и то, какая доля дисперсии приходится на редкие большие отклонения.

Все моменты упакованы в одну функцию — производящую функцию моментов (moment generating function, MGF)

$$M_X(t) = E\big[e^{tX}\big], \qquad M_X^{(k)}(0) = E[X^k] ,$$

поскольку $k$-я производная $e^{tX}$ при $t = 0$ равна $X^k$. Главное её применение — суммы: для независимых $X$ и $Y$ имеем $e^{t(X+Y)} = e^{tX} e^{tY}$, а математическое ожидание произведения независимых величин распадается в произведение математических ожиданий, поэтому $M_{X+Y}(t) = M_X(t)\, M_Y(t)$. У величины с распределением Пуассона с параметром $\lambda$ производящая функция моментов равна $M(t) = \exp(\lambda(e^t - 1))$; произведение двух таких функций — производящая функция моментов распределения Пуассона с параметром $\lambda_1 + \lambda_2$, а поскольку производящая функция моментов, существующая в окрестности 0, определяет распределение, сумма независимых пуассоновских величин имеет распределение Пуассона. У нормального распределения $M(t) = \exp(\mu t + \sigma^2 t^2 / 2)$, и то же рассуждение показывает, что суммы независимых нормальных величин нормальны.

Для распределений с тяжёлыми хвостами, таких как логнормальное, производящая функция моментов не существует: $E[e^{tY}]$ бесконечно при любом $t > 0$. Характеристическая функция $\psi_X(t) = E[e^{itX}]$ существует всегда. Здесь $i$ — мнимая единица, $i^2 = -1$, и $e^{itX} = \cos(tX) + i \sin(tX)$, так что $\psi_X(t) = E[\cos(tX)] + i\, E[\sin(tX)]$ — пара обычных математических ожиданий ограниченных величин, и $\lvert e^{itX} \rvert = 1$. Она тоже определяет распределение и превращает суммы в произведения. Её другое свойство — теорема непрерывности Леви, инструмент, на котором держится доказательство центральной предельной теоремы: распределения $X_n$ сходятся к распределению $X$ ровно тогда, когда $\psi_{X_n}(t) \to \psi_X(t)$ при каждом $t$; а если $\psi_{X_n}(t)$ сходится при каждом $t$ к пределу, непрерывному в точке $t = 0$, то этот предел — характеристическая функция некоторого распределения, к которому и сходятся $X_n$. Условие в точке $0$ существенно: у $N(0, n)$ характеристическая функция $\psi(t) = e^{-nt^2/2}$ стремится к $0$ при каждом $t \ne 0$ и равна $1$ при $t = 0$. Предел разрывен в $0$, это не характеристическая функция, и распределения расплываются, не сходясь ни к какому распределению.

Что изменилось#

	Распределение	Его числовые характеристики
Центр	вся функция вероятности или плотность	$E[X]$ — точка равновесия и среднее в длинной серии
Разброс		$\operatorname{Var}(X)$, $\sigma$
Суммы	свёртка распределений	средние складываются всегда; дисперсии складываются при независимости; производящие функции моментов перемножаются
Средние $n$ величин		среднее не меняется, стандартное отклонение $\sigma/\sqrt n$

Ограничения#

• Математическое ожидание может не существовать. Распределение Коши — распределение отношения двух независимых стандартных нормальных величин — имеет плотность, но не имеет среднего: выборочные средние не стабилизируются, сколько бы значений ни взять (см. код).
• Средние чувствительны к хвостам. Одно экстремальное значение может сдвинуть среднее сколь угодно далеко; медиана устойчива, и для асимметричных величин, таких как задержки, доходы или потери на редких входах, одно лишь среднее вводит в заблуждение.
• Два числа не описывают форму. Распределения с одинаковыми средним и дисперсией могут иметь совершенно разные хвосты, а именно там живут риски, отказы и выбросы.

Что нужно запомнить#

• $E[X] = \sum k\, P(X = k)$ или $\int x f(x)\, dx$: точка равновесия и среднее в длинной серии.
• Линейность: $E[aX + bY + c] = aE[X] + bE[Y] + c$ при любой зависимости; $E[\mathbb 1_A] = P(A)$ превращает математические ожидания счётных величин в суммы вероятностей.
• $E[g(X)] = \sum g(k) P(X = k)$; в общем случае $E[g(X)] \ne g(E[X])$, и $E[g(X)] \ge g(E[X])$ для выпуклой $g$ (неравенство Йенсена).
• $\operatorname{Var}(X) = E[X^2] - (E[X])^2$; $\operatorname{Var}(aX + b) = a^2 \operatorname{Var}(X)$; дисперсии независимых величин складываются.
• Среднее $n$ н.о.р. величин имеет стандартное отклонение $\sigma/\sqrt n$.
• Производящие функции моментов и характеристические функции превращают суммы независимых величин в произведения.

Код#

Каждое число заметки, вычисленное точно или симуляцией:

import numpy as np, math
from scipy import stats

rng = np.random.default_rng(0)

# a fair die: the variance from the definition and as E[X^2] - (E[X])^2
die = np.arange(1, 7)
mean = die.mean()
print(mean, round(((die - mean) ** 2).mean(), 4), round((die**2).mean() - mean**2, 4))   # 3.5 2.9167 2.9167

# linearity with indicators: own names drawn among 20 people; shared-birthday pairs among 23
perm = np.argsort(rng.random((100_000, 20)), axis=1)
print(round((perm == np.arange(20)).sum(axis=1).mean(), 3), round(math.comb(23, 2) / 365, 4))   # 0.996 0.6932

# coupon collector: rolls until all six faces have appeared
rolls = []
for _ in range(20_000):
    seen, n = set(), 0
    while len(seen) < 6:
        seen.add(int(rng.integers(6))); n += 1
    rolls.append(n)
print(round(sum(6 / k for k in range(1, 7)), 2), round(float(np.mean(rolls)), 2))   # 14.7 14.71

# the expectation of a function: E[e^X] for X ~ N(0, 1), against e^E[X] = 1 and the median of e^X
x = rng.normal(size=1_000_000)
print(round(float(np.exp(x).mean()), 3), round(math.exp(0.5), 4), round(float(np.median(np.exp(x))), 3))   # 1.645 1.6487 0.998

# the 1/sqrt(n) rule: accuracy measured on 1,000 test examples when the true accuracy is 0.9
print(round(math.sqrt(0.9 * 0.1 / 1000), 4), round(float(rng.binomial(1000, 0.9, 100_000).std()) / 1000, 4))   # 0.0095 0.0095

# generating functions: Poisson(2) + Poisson(3), independent, is Poisson(5)
s = rng.poisson(2, 1_000_000) + rng.poisson(3, 1_000_000)
print(round(float(s.mean()), 3), round(float(s.var()), 3), round(float((s == 5).mean()), 4), round(stats.poisson(5).pmf(5), 4))   # 4.998 5.004 0.1756 0.1755

# no mean at all: averages of Cauchy samples do not settle
c = rng.standard_cauchy(1_000_000)
print([round(float(c[:n].mean()), 2) for n in (10**3, 10**4, 10**5, 10**6)])   # [0.83, 2.88, 0.4, -0.23]

Дальше#

Математическое ожидание и дисперсия описывают одну случайную величину. Данные же приходят по несколько величин сразу: рост и вес человека, слово и следующее за ним, вектор признаков и метка. Следующая заметка описывает несколько случайных величин вместе: совместные и маргинальные распределения, независимость, а также ковариацию и корреляцию, которые — отчасти — измеряют, насколько согласованно эти величины меняются.

Литература#

• J. K. Blitzstein, J. Hwang. Introduction to Probability, 2nd ed. CRC Press, 2019. Глава 4 (математическое ожидание, линейность, индикаторы, LOTUS, дисперсия, задача о собирателе купонов), глава 6 (моменты, производящие функции моментов).
• W. Feller. An Introduction to Probability Theory and Its Applications, Vol. 1, 3rd ed. Wiley, 1968. Глава IX (случайные величины, математическое ожидание), глава XI (производящие функции).
• A. N. Shiryaev. Probability-1, 3rd ed. Springer, 2016. Глава 2, §6 (математическое ожидание как интеграл), §12 (характеристические функции).