Непрерывные распределения

Время ожидания, рост, ошибка измерения или положение случайной точки могут принимать любое значение из интервала. Тогда каждое отдельное значение имеет вероятность ноль, как заметка об аксиомах показала для точки на $[0, 1]$, и список вероятностей значений — функция вероятности из предыдущей заметки — ничего не описывает. Вместо этого вероятность сосредоточена на интервалах, а её концентрацию в каждой точке описывает плотность. В этой заметке мы вводим плотности, функцию распределения и квантили, а также три распределения: равномерное, из которого получают случайные числа, показательное — время ожидания без памяти — и нормальное, которое, как покажет центральная предельная теорема, стоит за каждым средним.

Обозначения. $f_X$ — плотность $X$, $F_X(x) = P(X \le x)$ — её функция распределения (CDF), $F_X^{-1}(q)$ — её $q$-квантиль. Запись $X \sim N(\mu, \sigma^2)$ читается как «$X$ имеет нормальное распределение со средним $\mu$ и дисперсией $\sigma^2$»; $\varphi$ и $\Phi$ — плотность и функция распределения стандартного нормального распределения $N(0, 1)$.

Плотности#

Случайная величина $X$ непрерывна (строго говоря, абсолютно непрерывна), если существует функция $f_X \ge 0$ с $\int_{-\infty}^{\infty} f_X(x)\, dx = 1$, такая что для любого интервала

$$P(a \le X \le b) = \int_a^b f_X(x)\, dx .$$

Вероятности — это площади под графиком плотности. Включены ли концы интервала, неважно, поскольку отдельные точки имеют вероятность 0. Суммы по значениям превращаются в интегралы; в остальном всё сказанное о функциях вероятности переносится без изменений.

Плотность — не вероятность. Для короткого интервала $P(x \le X \le x + h) \approx f_X(x)\, h$: плотность — это вероятность на единицу длины, и она может быть больше 1. Точка, равномерно распределённая на $[0, 0.5]$, имеет на этом отрезке плотность 2. Плотность зависит и от единиц измерения: у роста, измеренного в метрах, а не в сантиметрах, плотность в 100 раз больше, а все вероятности остаются прежними.

Функция распределения и квантили#

Функция распределения $F_X(x) = P(X \le x) = \int_{-\infty}^x f_X(t)\, dt$ возрастает от 0 до 1. В каждой точке, где плотность $f_X$ непрерывна, производная функции распределения равна плотности, $F_X' = f_X$, поэтому каждая вероятность — одновременно площадь под $f$ и прирост $F$:

Рисунок

Одна вероятность как площадь и как подъём

Функция распределения отвечает на вопрос «насколько вероятно, что $X$ не больше $x$»; обратная к ней — на вопрос «ниже какого значения $X$ оказывается с вероятностью $q$». $q$-квантиль — это наименьшее $x$, при котором $F_X(x) \ge q$,

$$Q(q) = \inf\{x : F_X(x) \ge q\} .$$

Там, где $F_X$ непрерывна и строго возрастает, это единственное $x$ с $F_X(x) = q$, и его обозначают $F_X^{-1}(q)$. Общее определение покрывает два исключения: горизонтальный участок $F_X$ — диапазон значений, которых $X$ не принимает, — дал бы много решений уравнения $F_X(x) = q$, а скачок — значение с положительной вероятностью — ни одного. Медиана — это $0.5$-квантиль, квартили — $0.25$- и $0.75$-квантили. Целевые показатели уровня обслуживания (service-level targets) — это квантили: «задержка p99 равна 300 мс» означает, что $0.99$-квантиль времени ответа равна 300 мс. Обращение $F$ — это ещё и способ получать случайные числа с любым распределением из равномерных; это тема следующей заметки.

Равномерное распределение#

У $X \sim U(a, b)$ постоянная плотность $1/(b - a)$ на $[a, b]$ и 0 вне его: вероятность интервала внутри $[a, b]$ равна его длине, делённой на $b - a$. Генератор случайных чисел компьютера выдаёт (приближённо) независимые числа с распределением $U(0, 1)$, и любое другое распределение в симуляции получают из них.

Показательное распределение#

Станок ломается, приходит запрос, распадается атом. Пусть такие события происходят с постоянной интенсивностью $\lambda$ в единицу времени и без памяти: в каждом коротком интервале длины $\Delta$ событие происходит с вероятностью примерно $\lambda \Delta$, что бы ни случилось раньше (однородный пуассоновский процесс). Тогда время ожидания $T$ до первого из них имеет показательное (экспоненциальное) распределение, $T \sim \mathrm{Exp}(\lambda)$:

$$f_T(t) = \lambda e^{-\lambda t}, \qquad P(T > t) = e^{-\lambda t}, \qquad t \ge 0 .$$

Это непрерывный вариант геометрического распределения. Разобьём время на шаги длины $\Delta$ и на каждом шаге будем проводить испытание с вероятностью успеха $\lambda \Delta$. Число шагов до первого успеха имеет геометрическое распределение, поэтому $P(T > t) = (1 - \lambda \Delta)^{t/\Delta}$, что стремится к $e^{-\lambda t}$ при $\Delta \to 0$:

Рисунок

Показательное распределение — непрерывное геометрическое

Это также оборотная сторона распределения Пуассона. Если число событий на интервале длины $t$ имеет распределение $\mathrm{Poisson}(\lambda t)$, то первое событие наступает после момента $t$ ровно тогда, когда на интервале нет ни одного события: $P(T > t) = e^{-\lambda t} (\lambda t)^0 / 0! = e^{-\lambda t}$. Если запросы приходят с интенсивностью 2 в секунду, целая секунда без запросов имеет вероятность $e^{-2} = 0.135$. Одной лишь постоянной средней интенсивности недостаточно. Автобусы, которые приходят ровно раз в 10 минут, тоже прибывают с интенсивностью $1/10$ в минуту, но пассажир, пришедший на остановку в случайный момент, ждёт равномерно распределённое на $[0, 10]$ время со средним 5 минут, а не показательное со средним 10.

Как и геометрическое, показательное распределение не имеет памяти (memoryless; свойство отсутствия последействия): $P(T > s + t \mid T > s) = e^{-\lambda (s + t)} / e^{-\lambda s} = P(T > t)$. Деталь, срок службы которой распределён показательно, в каждый момент как новая: она не стареет. Верно и обратное: функция выживания (survival function), для которой $P(T > s + t) = P(T > s) P(T > t)$ при всех $s, t$, обязана быть показательной, так что показательное распределение — единственное непрерывное распределение без памяти. Реальные детали всё же изнашиваются, и тогда их сроки службы моделируют распределениями, у которых интенсивность отказов (failure rate) растёт с возрастом.

Показательное распределение асимметрично. При $\lambda = 2$ в секунду среднее время ожидания равно $1/\lambda = 0.5$ с, медиана — $\ln 2 / \lambda = 0.35$ с, а $0.99$-квантиль — $\ln 100 / \lambda = 2.3$ с, больше чем вчетверо выше среднего. Система, рассчитанная на среднее время ожидания, не справляется с хвостом.

Нормальное распределение#

Нормальное (гауссовское) распределение $N(\mu, \sigma^2)$ имеет плотность

$$f(x) = \frac{1}{\sigma \sqrt{2\pi}} \exp\Big(-\frac{(x - \mu)^2}{2\sigma^2}\Big) ,$$

колокол с центром в $\mu$, ширину которого задаёт $\sigma$. Любое нормальное распределение — сдвинутое и масштабированное стандартное: если $X \sim N(\mu, \sigma^2)$, то $Z = (X - \mu)/\sigma \sim N(0, 1)$, что доказывает следующая заметка. Поэтому одна таблица — значений $\Phi$ — годится для всех нормальных распределений; $\Phi$ не выражается через элементарные функции и вычисляется численно.

Правило «68–95–99.7» (расширенная форма правила трёх сигм) даёт вероятности попасть в пределы 1, 2 и 3 стандартных отклонений от среднего: $0.6827$, $0.9545$ и $0.9973$. Станок нарезает стержни длины $N(100, 0.2^2)$ мм, и стержни вне $[99.5, 100.5]$ бракуются. Обе границы отстоят от среднего на $2.5$ стандартного отклонения, поэтому доля брака равна $P(\lvert Z \rvert > 2.5) = 0.0124$.

Хвосты нормального распределения лёгкие (thin tails): плотность убывает как $e^{-x^2/2}$. $P(Z > 3) = 0.00135$, а $P(Z > 5) = 2.9 \cdot 10^{-7}$ — примерно один шанс из 3.5 миллиона. Ошибки измерений и средние многих малых эффектов близки к нормальным по причинам, которые объясняет центральная предельная теорема. Доходности финансовых активов, размеры файлов или частоты слов — нет, и если моделировать их нормальным распределением, вероятности экстремальных событий окажутся заниженными на порядки.

Что изменилось#

	Дискретные	Непрерывные
Чем описывается	функцией вероятности $p_X(k) = P(X = k)$	плотностью $f_X(x)$, вероятностью на единицу длины
$P(X = x)$	может быть положительной	всегда 0
$P(a \le X \le b)$	сумма $p_X(k)$	интеграл от $f_X$
Функция распределения	ступенчатая	непрерывная, $F_X' = f_X$
Время ожидания	геометрическое, без памяти	показательное, единственное без памяти

Ограничения#

• Не всякая случайная величина дискретна или непрерывна. Суточное количество осадков с положительной вероятностью равно ровно 0, а в остальных случаях распределено непрерывно; таким смешанным распределениям нужны масса в нуле и плотность в остальных точках. (Существуют и непрерывные функции распределения, у которых плотности нет вовсе; на практике они не встречаются.)
• Именованное распределение — это модель. Показательное предполагает постоянную интенсивность, нормальное — лёгкие хвосты; прежде чем пользоваться любым из них, нужно проверить согласие с данными, как с ударами копытом в предыдущей заметке.
• Плотности зависят от единиц измерения и параметризации. Вероятности — нет; сравнивать значения плотности в разных масштабах или принимать значение плотности за вероятность — распространённая ошибка.

Что нужно запомнить#

• Для непрерывной величины $P(a \le X \le b) = \int_a^b f_X$; отдельные значения имеют вероятность 0; плотность — вероятность на единицу длины, и она может быть больше 1.
• $F_X(x) = P(X \le x)$, $F_X' = f_X$; $q$-квантиль — решение уравнения $F_X(x) = q$ (медиана, квартили, p99).
• Равномерное $U(a, b)$: постоянная плотность $1/(b-a)$; исходный материал для симуляции.
• Показательное $\mathrm{Exp}(\lambda)$: $P(T > t) = e^{-\lambda t}$, среднее $1/\lambda$, нет памяти; время ожидания в пуассоновском потоке событий.
• Нормальное $N(\mu, \sigma^2)$: $Z = (X - \mu)/\sigma$ имеет стандартное нормальное распределение; в пределах 1, 2, 3 стандартных отклонений — с вероятностью $0.683$, $0.954$, $0.997$; лёгкие хвосты.

Код#

Числа заметки с помощью scipy.stats и отсутствие памяти, проверенное симуляцией:

import numpy as np
from scipy import stats

Z = stats.norm()                                                   # the standard normal
print([round(float(Z.cdf(k) - Z.cdf(-k)), 4) for k in (1, 2, 3)])   # [0.6827, 0.9545, 0.9973]
print(round(2 * Z.sf(2.5), 4), round(Z.sf(3), 5), f'{Z.sf(5):.1e}')   # 0.0124 0.00135 2.9e-07

print(stats.uniform(0, 0.5).pdf(0.2))                              # 2.0: a density, not a probability

T = stats.expon(scale=1 / 2)                                       # waiting time at a rate of 2 per second
print(round(T.sf(1), 4), T.mean(), round(T.median(), 3), round(T.ppf(0.99), 3))   # 0.1353 0.5 0.347 2.303

# memorylessness by simulation: P(T > 1.5 | T > 0.5) = P(T > 1)
t = np.random.default_rng(0).exponential(1 / 2, 1_000_000)
print(round((t > 1).mean(), 4), round((t[t > 0.5] > 1.5).mean(), 4))   # 0.1353 0.136

# a trial every d seconds with success probability d: P(wait > 1) tends to e^-1
print([round((1 - d) ** round(1 / d), 4) for d in (0.5, 0.1, 0.01)], round(np.exp(-1), 4))   # [0.25, 0.3487, 0.366] 0.3679

Дальше#

Нормальное распределение свелось к стандартному заменой $Z = (X - \mu)/\sigma$, а симуляция превращает равномерные числа в числа с любым распределением. Оба приёма — частные случаи одного вопроса: если у $X$ известное распределение, каково распределение $g(X)$? Следующая заметка отвечает на него формулой замены переменных — это также одномерный случай нормализующих потоков из курса «Генеративные модели».

Литература#

• J. K. Blitzstein, J. Hwang. Introduction to Probability, 2nd ed. CRC Press, 2019. Глава 5 (непрерывные случайные величины, равномерное, нормальное и показательное распределения, пуассоновские процессы).
• W. Feller. An Introduction to Probability Theory and Its Applications, Vol. 2, 2nd ed. Wiley, 1971. Глава I (показательная и равномерная плотности).
• A. N. Shiryaev. Probability-1, 3rd ed. Springer, 2016. Глава 2, §3 (функции распределения и плотности на прямой).