Оценки: смещение и дисперсия

Теория вероятностей идёт от известного распределения к данным, которые оно порождает: сколько орлов даст честная монета? Статистика идёт в обратную сторону: какова монета, если известны орлы? Неизвестное — это параметр $\theta$ семейства распределений, а правило, которое превращает данные в догадку о нём, — оценка (estimator) $\hat\theta$. Любое число, подобранное по данным в машинном обучении, от среднего до весов нейросети, — это оценка. Эта заметка вводит понятия, по которым судят об оценках: смещение (bias), дисперсию, среднеквадратичную ошибку (mean squared error, MSE), состоятельность (consistency) и стандартную ошибку (standard error), — и заканчивается компромиссом между смещением и дисперсией (bias–variance trade-off), который управляет выбором сложности модели.

Обозначения. $X_1, \dots, X_n$ — н.о.р. величины с распределением $P_\theta$, параметр $\theta$ которого неизвестен. Оценка $\hat\theta = \hat\theta(X_1, \dots, X_n)$ — функция от данных. $E_\theta$ и $\operatorname{Var}_\theta$ вычисляются при распределении $P_\theta$.

Оценки#

Выборочное среднее $\bar X$ оценивает среднее, доля успехов — вероятность, выборочная дисперсия — дисперсию, подогнанная прямая регрессии — функцию регрессии из заметки об условном математическом ожидании. Данные случайны, поэтому оценка — случайная величина: другая выборка даёт другое значение. Её распределение по повторным выборкам, выборочное распределение (sampling distribution), и определяет, хороша она или плоха. Например, среднее $n$ наблюдений по центральной предельной теореме имеет выборочное распределение, близкое к $N(\mu, \sigma^2/n)$.

У одного и того же параметра обычно много оценок. Для выборки из $U(0, \theta)$ правый конец $\theta$ можно оценить удвоенным выборочным средним, поскольку $E[X] = \theta/2$, выборочным максимумом — наибольшим из наблюдённых значений — или слегка увеличенным максимумом. Ведут себя эти оценки очень по-разному.

Смещение, дисперсия и среднеквадратичная ошибка#

Смещение — систематическая ошибка, дисперсия — случайная:

$$\operatorname{bias}(\hat\theta) = E_\theta[\hat\theta] - \theta, \qquad \operatorname{Var}(\hat\theta) = E_\theta\big[(\hat\theta - E_\theta[\hat\theta])^2\big] .$$

Среднеквадратичная ошибка объединяет их. Если прибавить и вычесть $E_\theta[\hat\theta]$ внутри квадрата, перекрёстный член будет иметь нулевое среднее:

$$\operatorname{MSE}(\hat\theta) = E_\theta\big[(\hat\theta - \theta)^2\big] = \operatorname{bias}(\hat\theta)^2 + \operatorname{Var}(\hat\theta) .$$

Для правого конца равномерного распределения при $n = 10$ и $\theta = 1$:

Рисунок

Три оценки правого конца равномерного распределения

Оценка	Смещение	Дисперсия	MSE
$2\bar X$	0	$\theta^2/(3n) = 0.0333$	0.0333
$\max_i X_i$	$-\theta/(n+1) = -0.091$	$0.0069$	0.0152
$\frac{n+1}{n} \max_i X_i$	0	$\theta^2/(n(n+2)) = 0.0083$	0.0083

Числа для максимума следуют из его функции распределения: максимум не больше $t$ ровно тогда, когда это верно для всех $n$ наблюдений, поэтому

$$\begin{aligned} P\big(\max_i X_i \le t\big) &= (t/\theta)^n, \quad 0 \le t \le \theta, \qquad E\big[\max_i X_i\big] = \frac{n}{n+1}\,\theta, \\ \operatorname{Var}\big(\max_i X_i\big) &= E\big[(\max_i X_i)^2\big] - \Big(\frac{n\theta}{n+1}\Big)^2 \\ &= \frac{n\theta^2}{n+2} - \frac{n^2\theta^2}{(n+1)^2} = \frac{n\theta^2}{(n+1)^2(n+2)} , \end{aligned}$$

где моменты вычислены по плотности $n t^{n-1}/\theta^n$; при $n = 10$ дисперсия равна $10/(121 \cdot 12) = 0.0069$.

Несмещённость — не цель. Максимум всегда слишком мал, и всё же его среднеквадратичная ошибка меньше половины ошибки несмещённой оценки $2\bar X$, потому что максимум использует то единственное наблюдение, которое несёт больше всего информации о правом конце. Поправка смещения сохраняет это преимущество и даёт лучшую из трёх оценок; её дисперсия даже убывает как $1/n^2$ — быстрее, чем $1/n$ у любого среднего.

Выборочная дисперсия и n − 1#

Естественная оценка $\sigma^2$ усредняет квадраты отклонений от выборочного среднего. Она смещена:

$$E\Big[\frac1n \sum_{i=1}^n (X_i - \bar X)^2\Big] = \frac{n-1}{n}\, \sigma^2 ,$$

поскольку отклонения отсчитываются от $\bar X$, а это среднее подогнано к тем же данным и поэтому лежит к ним ближе, чем истинное среднее $\mu$. Деление на $n - 1$ (поправка Бесселя, Bessel’s correction) устраняет смещение; именно эту величину $s^2$ выдаёт большинство статистических программ. Но для нормальных данных среднеквадратичная ошибка минимальна при ещё одном делителе, $n + 1$: при $n = 10$ делители $9$, $10$ и $11$ дают среднеквадратичные ошибки $0.222\sigma^4$, $0.190\sigma^4$ и $0.182\sigma^4$. Снова несмещённый вариант — не самый точный, хотя при умеренных $n$ различия невелики.

Состоятельность#

Оценка состоятельна, если с ростом $n$ она сходится по вероятности к истинному значению: $\hat\theta_n \to \theta$. Достаточно, чтобы к нулю стремились и смещение, и дисперсия: тогда к нулю стремится и среднеквадратичная ошибка. Выборочное среднее состоятельно по закону больших чисел. Максимум равномерной выборки смещён при любом $n$ и всё же состоятелен. Одно лишь первое наблюдение, $\hat\theta = X_1$, — несмещённая, но не состоятельная оценка среднего: она игнорирует все остальные данные. Состоятельность — минимальное требование; состоятельные оценки различаются смещением, дисперсией и скоростью их убывания.

Стандартные ошибки#

Стандартное отклонение оценки называется её стандартной ошибкой; это типичный размер случайной составляющей её ошибки. Для выборочного среднего она равна $\sigma/\sqrt n$ и оценивается величиной $s/\sqrt n$. Оценка, приведённая без стандартной ошибки, ничего не говорит о том, насколько она точна; вместе с ней центральная предельная теорема даёт приближённый интервал — предмет заметки о доверительных интервалах. Для оценок без простой формулы стандартную ошибку можно оценить повторной выборкой (resampling) из данных — бутстрэпом (bootstrap) из той же заметки.

Компромисс между смещением и дисперсией#

Модель $\hat f$, обученная с квадратичной функцией потерь, — оценка функции регрессии $m(x) = E[Y \mid X = x]$ (другие функции потерь оценивают другие характеристики условного распределения, как показывает заметка об условном математическом ожидании), а её выборочное распределение порождается случайностью обучающей выборки. В точке $x$ для нового $Y$, независимого от обучающих данных, ожидаемая квадратичная ошибка раскладывается на три слагаемых:

$$E\big[(Y - \hat f(x))^2\big] = \underbrace{\operatorname{Var}(Y \mid X = x)}_{\text{шум}} + \underbrace{\big(E[\hat f(x)] - m(x)\big)^2}_{\text{смещение}^2} + \underbrace{\operatorname{Var}\big(\hat f(x)\big)}_{\text{дисперсия}} .$$

Шум — неустранимая ошибка из заметки об условном математическом ожидании. Класс моделей, слишком простой для $m$, имеет большое смещение: любая обучающая выборка даёт примерно один и тот же неверный ответ. Класс, достаточно гибкий, чтобы следовать за $m$, следует и за шумом каждой обучающей выборки и имеет большую дисперсию:

Рисунок

Смещение и дисперсия полиномиальной регрессии

При 12 обучающих точках полная ожидаемая ошибка степени 1 равна $0.218 + 0.014 + 0.09 = 0.32$, степени 3 — $0.006 + 0.026 + 0.09 = 0.12$, степени 9 — $0.000 + 0.116 + 0.09 = 0.21$. Наилучшая сложность уравновешивает смещение и дисперсию и зависит от объёма данных: больше данных — меньше дисперсия любого класса, и равновесие сдвигается к более гибким моделям. Такая U-образная форма — частый режим, а не закон. Смещение и дисперсия не обязаны меняться монотонно при любой мере гибкости, а у сильно перепараметризованных моделей, таких как большие нейросети, ошибка на тесте может снова падать после того места, где модель в точности подгоняет обучающие данные, — это двойной спуск (double descent) из работы Belkin et al. (2019). Регуляризация — гребневая регрессия (ridge), затухание весов (weight decay), ранняя остановка, дропаут (dropout) — это сознательный обмен небольшого смещения на сильное снижение дисперсии, тот же обмен, благодаря которому максимум равномерной выборки обошёл $2\bar X$. В многомерных задачах без него не обойтись: оценка Джеймса–Стейна (James–Stein estimator) показывает, что для трёх и более нормальных средних сжатие всех выборочных средних к фиксированной общей точке снижает суммарную среднеквадратичную ошибку при любых значениях истинных средних.

Что изменилось#

	Теория вероятностей	Статистика
Известно	распределение, $\theta$	данные
Неизвестно	данные	$\theta$
Объект изучения	случайная величина	оценка — случайная величина, потому что случайны данные
Качество		смещение, дисперсия, $\operatorname{MSE} = \operatorname{bias}^2 + \operatorname{variance}$, состоятельность, стандартная ошибка
Для обученной модели		шум + смещение² + дисперсия; баланс задают сложность и регуляризация

Ограничения#

• Смещение и MSE зависят от неизвестного $\theta$. Оценка может быть лучше при одних значениях параметра и хуже при других; чтобы сравнивать оценки, нужен критерий, например худший случай или среднее по априорному распределению.
• Среднеквадратичная ошибка — лишь одна из многих функций потерь. Абсолютная ошибка, вероятность накрытия у интервалов или цена неверного решения могут упорядочить оценки иначе.
• Разложение для моделей — поточечное и по обучающим выборкам. На практике обучающая выборка одна; смещение и дисперсию оценивают повторными выборками или по валидационным кривым, а не наблюдают напрямую.

Что нужно запомнить#

• Оценка — функция от данных и потому случайная величина; её качество определяет выборочное распределение.
• $\operatorname{MSE} = \operatorname{bias}^2 + \operatorname{variance}$; смещённая оценка может иметь меньшую MSE, чем несмещённая.
• Выборочная дисперсия с множителем $1/n$ в среднем занижает $\sigma^2$ с коэффициентом $(n-1)/n$; множитель $1/(n-1)$ устраняет смещение.
• Состоятельность: $\hat\theta_n \to \theta$ по вероятности; для неё достаточно, чтобы смещение и дисперсия стремились к нулю.
• Стандартная ошибка — стандартное отклонение оценки; для среднего она равна $\sigma/\sqrt n$.
• Ожидаемая ошибка прогноза = шум + смещение² + дисперсия; в частом режиме, как в примере с многочленами, гибкость снижает смещение и повышает дисперсию, но не всегда (двойной спуск); регуляризация обменивает смещение на дисперсию.

Код#

Оценки правого конца равномерного распределения, делители выборочной дисперсии и полиномиальные подгонки — симуляцией:

import numpy as np

rng = np.random.default_rng(0)

# three estimators of theta = 1 from n = 10 draws of U(0, theta): bias, variance, MSE over 200,000 samples
n = 10
X = rng.random((200_000, n))
for name, est in [('2 x mean', 2 * X.mean(axis=1)), ('max', X.max(axis=1)), ('max x 11/10', X.max(axis=1) * (n + 1) / n)]:
    print(name, round(float(est.mean() - 1), 3), round(float(est.var()), 4), round(float(((est - 1) ** 2).mean()), 4))
# 2 x mean 0.0 0.0333 0.0333 | max -0.091 0.0069 0.0151 | max x 11/10 0.0 0.0083 0.0083

# the sample variance of 10 standard normals with divisors n - 1, n, n + 1: bias and MSE
Z = rng.normal(size=(200_000, n))
ss = ((Z - Z.mean(axis=1, keepdims=True)) ** 2).sum(axis=1)
for d in (n - 1, n, n + 1):
    print(d, round(float((ss / d).mean() - 1), 3), round(float(((ss / d - 1) ** 2).mean()), 3))
# 9 -0.001 0.221 | 10 -0.101 0.189 | 11 -0.182 0.181

# squared bias and variance of polynomial fits: 12 points of sin(2 pi x) + N(0, 0.3^2), 2,000 datasets
f = lambda x: np.sin(2 * np.pi * x)
x, grid = np.linspace(0, 1, 12), np.linspace(0, 1, 101)
for deg in (1, 3, 9):
    P = np.array([np.polynomial.polynomial.polyval(2 * grid - 1, np.polynomial.polynomial.polyfit(2 * x - 1, f(x) + 0.3 * rng.normal(size=12), deg)) for _ in range(2000)])
    print(deg, round(float(((P.mean(axis=0) - f(grid)) ** 2).mean()), 3), round(float(P.var(axis=0).mean()), 3))
# 1 0.218 0.014 | 3 0.006 0.026 | 9 0.0 0.116

Дальше#

Смещение и дисперсия позволяют судить об уже имеющейся оценке, но не говорят, где найти хорошую. Следующая заметка вводит самый распространённый рецепт — метод максимального правдоподобия: выбрать параметр, при котором наблюдённые данные наиболее вероятны. Она выводит квадратичную ошибку и кросс-энтропию как отрицательные логарифмы правдоподобия и показывает, почему оценки максимального правдоподобия на больших выборках почти так же хороши, как вообще может быть оценка.

Литература#

• L. Wasserman. All of Statistics. Springer, 2004. Глава 6 (точечное оценивание, смещение, дисперсия, MSE, состоятельность, стандартные ошибки).
• G. Casella, R. L. Berger. Statistical Inference, 2nd ed. Duxbury, 2002. Глава 7 (методы построения и сравнения оценок).
• T. Hastie, R. Tibshirani, J. Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009. Разделы 2.9 и 7.3 (сложность модели, разложение на смещение и дисперсию).
• S. Geman, E. Bienenstock, R. Doursat. Neural Networks and the Bias/Variance Dilemma. Neural Computation, 4(1), 1992.
• M. Belkin, D. Hsu, S. Ma, S. Mandal. Reconciling modern machine-learning practice and the classical bias–variance trade-off. PNAS, 116(32), 2019.
• C. Stein. Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution. Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability, 1956.