Аксиомы Колмогорова

Подсчёт даёт вероятности, только когда исходы равновозможны и их конечное число. Нечестная кость нарушает первое условие, случайная точка на отрезке — второе, а у времени до первого орла в серии бросков монеты бесконечно много исходов, и они не равновозможны. В 1933 году Колмогоров заменил определение тремя аксиомами: вероятность — это любая функция на событиях, которая им подчиняется. Подсчёт — лишь один пример; все остальные правила курса — следствия. В этой заметке мы сформулируем аксиомы, выведем правила, которыми заметка о подсчёте пользовалась без доказательства, и объясним единственный технический момент — какие множества исходов считаются событиями.

Обозначения. $\Omega$ — пространство элементарных исходов, $\mathcal F$ — набор событий (подмножеств $\Omega$, которым приписана вероятность), $P$ — вероятность. События $A_1, A_2, \dots$ попарно несовместны, если никакие два из них не могут произойти вместе, $A_i \cap A_j = \varnothing$ при $i \ne j$. $A \setminus B$ означает «$A$, но не $B$».

Три аксиомы#

Вероятностное пространство — это тройка $(\Omega, \mathcal F, P)$, в которой $P$ сопоставляет каждому событию число и

1. $P(A) \ge 0$ для любого события $A$;
2. $P(\Omega) = 1$;
3. для попарно несовместных событий $A_1, A_2, \dots$, взятых в конечном или счётном числе,

$$P\Big(\bigcup_i A_i\Big) = \sum_i P(A_i) .$$

Аксиомы ничего не говорят о том, что вероятность означает. Доля равновозможных исходов, частота в длинной серии испытаний и степень уверенности — все они им удовлетворяют, поэтому одно исчисление годится для всех трёх трактовок из вводной заметки.

На конечном или счётном $\Omega$ аксиомы сводятся к одному рецепту: приписать каждому исходу вес $p_\omega \ge 0$ так, чтобы $\sum_\omega p_\omega = 1$, и положить $P(A) = \sum_{\omega \in A} p_\omega$. Нечестная кость — это веса $(0.1, 0.1, 0.1, 0.1, 0.1, 0.5)$; классическая модель — частный случай равных весов. Будем бросать честную монету до первого орла: орёл впервые выпадает на броске с номером $k$ с вероятностью $2^{-k}$, и веса $\frac12 + \frac14 + \frac18 + \dots$ в сумме дают 1. Вероятность того, что первый орёл выпадет на броске с чётным номером, равна

$$\frac14 + \frac1{16} + \frac1{64} + \dots = \frac{1/4}{1 - 1/4} = \frac13 .$$

Событие «чётный номер броска» — объединение бесконечного числа несовместных исходов, и только счётная аддитивность — третья аксиома, применённая к бесконечному числу событий, — превращает сумму их вероятностей в вероятность объединения.

Правила, которые из них следуют#

• Дополнение. $A$ и $A^c$ несовместны и вместе составляют $\Omega$, поэтому $P(A^c) = 1 - P(A)$ и $P(\varnothing) = 0$.
• Монотонность. Если $A \subseteq B$, то $B$ — это $A$ плюс несовместная с ним часть $B \setminus A$, поэтому $P(A) \le P(B)$, и любая вероятность не больше 1.
• Объединение двух событий. $A \cup B$ разбивается на $A$ и $B \setminus A$, а $B$ — на $A \cap B$ и $B \setminus A$; вычитание даёт

$$P(A \cup B) = P(A) + P(B) - P(A \cap B) .$$

• Оценка объединения (неравенство Буля, union bound). Отбросив последнее слагаемое, получаем $P(A \cup B) \le P(A) + P(B)$, а по индукции $P(A_1 \cup \dots \cup A_n) \le \sum_i P(A_i)$ — для любых событий, зависимых или нет.
• Непрерывность. Если $A_1 \subseteq A_2 \subseteq \dots$, то $P(\bigcup_n A_n) = \lim_n P(A_n)$: достаточно записать объединение как несовместные «кольца» $A_n \setminus A_{n-1}$. Вероятность того, что орёл когда-нибудь выпадет, — это предел $P(\text{хотя бы один орёл за } n \text{ бросков}) = 1 - 2^{-n}$, т. е. 1.

Правило дополнения — самый востребованный приём в курсе. В XVII веке шевалье де Мере заметил, что ставка на хотя бы одну шестёрку в 4 бросках кости выигрывает, а ставка на хотя бы одну пару шестёрок в 24 бросках двух костей проигрывает, хотя $4/6 = 24/36$. Через дополнение:

$$1 - \left(\tfrac56\right)^4 = 0.5177, \qquad 1 - \left(\tfrac{35}{36}\right)^{24} = 0.4914 .$$

Произведение вероятностей «не шестёрки» в каждом броске опирается на независимость, которую определяет следующая заметка; дополнение превращает «хотя бы один» — объединение многих пересекающихся событий — в «ни одного», одно пересечение.

Формула включений–исключений#

Для трёх событий формула объединения получает ещё одну поправку:

$$P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(A \cap B) - P(A \cap C) - P(B \cap C) + P(A \cap B \cap C) .$$

Рисунок показывает, зачем нужно каждое слагаемое: после каждого шага число в области показывает, сколько раз её вероятность уже учтена.

Рисунок

Включения–исключения для трёх событий

Для $n$ событий закономерность продолжается с чередующимися знаками: прибавляем отдельные события, вычитаем все попарные пересечения, прибавляем все тройные пересечения и так далее. Точка, лежащая ровно в $m$ из событий, учитывается $\binom m1 - \binom m2 + \binom m3 - \dots = 1$ раз.

Никто не вытягивает своё имя. $n$ человек кладут свои имена в шляпу, и каждый наугад вытягивает одно («Тайный Санта», Secret Santa). Какова вероятность, что никто не вытянет своё имя? Пусть $A_i$ — событие «человек $i$ вытянул своё имя». Любые заданные $k$ человек все вытягивают свои имена в $(n-k)!$ из $n!$ равновозможных порядков, а выбрать этих $k$ человек можно $\binom nk$ способами, поэтому $k$-е слагаемое формулы включений–исключений равно $\binom nk \frac{(n-k)!}{n!} = \frac1{k!}$:

$$P(\text{никто}) = 1 - P\Big(\bigcup_i A_i\Big) = 1 - 1 + \frac1{2!} - \frac1{3!} + \dots \pm \frac1{n!} .$$

Для 4 человек это $9/24 = 0.375$, а уже для 10 человек — $0.3679$ с точностью до четырёх знаков, т. е. значение предела $1/e$: ответ почти не зависит от размера группы.

Оценка объединения на практике#

Оценка объединения груба, но не требует знать, как события зависят друг от друга, и поэтому служит рабочей лошадкой для гарантий. A/B-тест сообщает 20 метрик, и каждая проверяется так, что метрика без реального эффекта даёт ложную тревогу с вероятностью 0.05. Если бы 20 проверок были независимы, вероятность хотя бы одной ложной тревоги составила бы $1 - 0.95^{20} = 0.64$. Если вместо этого проверять каждую метрику на уровне $0.05/20 = 0.0025$ (поправка Бонферрони), оценка объединения гарантирует, что вероятность хоть какой-нибудь ложной тревоги не больше $20 \cdot 0.0025 = 0.05$, как бы метрики ни были коррелированы. То же рассуждение, применённое к событиям «гипотеза $h$ хорошо выглядит на обучающих данных, но на самом деле плоха», даёт первую оценку обобщающей способности в заметке о концентрации.

Бесконечное число исходов#

Выберем точку равномерно случайно на $[0, 1]$. Естественная вероятность отрезка — его длина, $P([a, b]) = b - a$. Тогда каждая отдельная точка имеет вероятность 0, поскольку $\{x\}$ содержится в отрезках сколь угодно малой длины, — и всё же точка куда-то попадает. Вероятность 0 не означает невозможность; она означает, что событие не несёт веса. Счётная аддитивность складывает счётное число нулей: множество рациональных чисел в $[0, 1]$ счётно, поэтому случайная точка рациональна с вероятностью 0. Сам отрезок несчётен, а третья аксиома ничего не говорит о несчётных объединениях, так что противоречия с $P([0, 1]) = 1$ нет.

То, что вероятность с $P([a, b]) = b - a$ вообще существует и согласована с аксиомами на всех множествах, построенных из интервалов, — это теорема (построение меры Лебега), а не очевидный факт.

Почему не всякое множество — событие#

Было бы удобно приписать вероятность каждому подмножеству $[0, 1]$. Для равномерного распределения это невозможно: существуют настолько нерегулярные множества, что никакое значение вероятности не согласуется одновременно с аксиомами и с тем, что сдвиг множества не меняет его равномерную вероятность. Одно такое множество построено ниже — для тех, кто хочет его увидеть.

Поэтому аксиомы приписывают вероятности только семейству событий $\mathcal F$ — σ-алгебре: она содержит $\Omega$ и замкнута относительно дополнений и счётных объединений, так что любое множество, построенное из событий с помощью «не», «или» и «и», применённых счётное число раз, снова является событием. На $\mathbb R$ стандартный выбор — борелевская σ-алгебра, наименьшая из содержащих все интервалы. Любое множество, встречающееся на практике, от полупрямой до множества, где непрерывная функция положительна, — борелевское; для построения множеств вроде построенного ниже нужна аксиома выбора. В остальной части курса $\mathcal F$ подразумевается неявно: каждое множество, которое в нём встречается, — событие.

Множество без вероятности#

Дополнительный материал: построение множества, которое не может быть событием. Остальная часть заметки на него не опирается.

Будем работать на $[0, 1)$ и складывать по модулю 1, так что сдвиг «заворачивается», как поворот окружности; равномерная вероятность при таком сдвиге не меняется. Назовём два числа эквивалентными, если их разность рациональна, и построим множество $V$, выбрав по одному числу из каждого класса эквивалентности. Для каждого рационального $q \in [0, 1)$ положим $V_q = \{(v + q) \bmod 1 : v \in V\}$. Точка $x \in [0, 1)$ лежит ровно в одной копии: если $v$ — представитель её класса, то $x \in V_q$ только при $q = (x - v) \bmod 1$. Поэтому счётное число копий $V_q$ не пересекаются и вместе покрывают $[0, 1)$, вероятность которого равна 1. Равномерная вероятность должна давать каждой копии одно и то же значение $P(V)$, и тогда счётная аддитивность даёт $1 = P(V) + P(V) + \dots$, что невозможно — и при нулевом, и при положительном $P(V)$. Значит, $V$ не может быть событием.

Слову «случайный» нужна модель#

Аксиомы говорят, как вероятности комбинируются, а не какие вероятности назначать, и безобидная фраза вроде «случайная хорда» их не задаёт. Бертран спросил в 1889 году: какова вероятность того, что случайная хорда окружности длиннее стороны вписанного правильного треугольника? Три разумных прочтения слова «случайная» дают три ответа:

Рисунок

Парадокс Бертрана: три способа провести «случайную хорду»

Каждый ответ верен для своего вероятностного пространства. Этот парадокс — не изъян аксиом, а причина, по которой модель должна указывать, как порождается случайность. Позднее Джейнс утверждал, что только ответ $1/2$ не меняется при сдвиге и масштабировании окружности, и это делает его естественным выбором, когда больше ничего не известно; но это дополнительный принцип моделирования, а не следствие аксиом.

Что изменилось#

	Подсчёт	Аксиомы Колмогорова
Исходы	конечное число, равновозможные	любое множество $\Omega$
Вероятность события	$\lvert A \rvert / \lvert \Omega \rvert$	любая $P$ с $P \ge 0$, $P(\Omega) = 1$ и счётной аддитивностью
Нечестная кость, первый орёл на броске $k$	не охвачены	веса $p_\omega$ с суммой 1
Случайная точка на $[0, 1]$	не охвачена	длина интервалов; отдельные точки имеют вероятность 0
Какие множества имеют вероятность	все	события σ-алгебры

Ограничения#

• Аксиомы не выбирают вероятности. Все три ответа Бертрана им удовлетворяют; приписать вероятности реальной ситуации — это решение о модели.
• Счётная аддитивность — допущение. Именно она обеспечивает работу пределов, и весь курс на неё опирается. Де Финетти предлагал требовать только конечной аддитивности; тогда, например, «равномерное распределение на целых числах» существует, но пределы вероятностей перестают вести себя хорошо.
• σ-алгебры в прикладной работе — это бухгалтерия. Они важны для построения непрерывных распределений и случайных процессов; в остальной части курса каждое встречающееся множество — событие.

Что нужно запомнить#

• Вероятность — любая функция на событиях с $P(A) \ge 0$, $P(\Omega) = 1$ и аддитивностью по счётному числу попарно несовместных событий.
• Дополнение: $P(A^c) = 1 - P(A)$. Объединение: $P(A \cup B) = P(A) + P(B) - P(A \cap B)$. Оценка объединения: $P(\bigcup A_i) \le \sum P(A_i)$ при любой зависимости.
• Формула включений–исключений чередует знаки по пересечениям 1, 2, 3, … событий; вероятность того, что в «Тайном Санте» никто не вытянет своё имя, стремится к $1/e \approx 0.368$.
• При бесконечном числе исходов отдельные исходы могут иметь вероятность 0, а вероятности получают только множества из σ-алгебры.
• Слово «случайный» — ещё не модель: хорда Бертрана оказывается длинной с вероятностью $1/3$, $1/2$ или $1/4$ в зависимости от того, как её проводят.

Код#

Три хорды Бертрана, задача о «Тайном Санте» и остальные числа заметки на NumPy:

import numpy as np, math, itertools

rng = np.random.default_rng(0)
n = 100_000

# Bertrand's paradox: a chord of the unit circle is long if it is longer than sqrt(3)
t1, t2 = rng.uniform(0, 2 * np.pi, (2, n))
endpoints = 2 * np.abs(np.sin((t1 - t2) / 2))     # (a) both endpoints uniform on the circle
d = rng.uniform(0, 1, n)
radius = 2 * np.sqrt(1 - d**2)                    # (b) a uniform distance along a random radius
r = np.sqrt(rng.uniform(0, 1, n))
midpoint = 2 * np.sqrt(1 - r**2)                  # (c) the midpoint uniform in the disk
print([round(float((L > np.sqrt(3)).mean()), 3) for L in (endpoints, radius, midpoint)])   # [0.332, 0.501, 0.251]

# nobody draws their own name: inclusion-exclusion, enumeration, simulation
for k in [4, 10]:
    print(k, round(sum((-1)**j / math.factorial(j) for j in range(k + 1)), 4))           # 4 0.375, 10 0.3679
print(sum(all(p[i] != i for i in range(4)) for p in itertools.permutations(range(4))))  # 9 of 24 orders
perm = np.argsort(rng.random((n, 10)), axis=1)
print(round(float((perm != np.arange(10)).all(axis=1).mean()), 4))                      # 0.3707

print(round(1 - (5/6)**4, 4), round(1 - (35/36)**24, 4))          # 0.5177 0.4914  (de Mere)
print(round(1 - 0.95**20, 4), round(1 - (1 - 0.05/20)**20, 4))    # 0.6415 0.0488  (20 tests; Bonferroni)
print(sum(0.5**k for k in range(2, 100, 2)))                      # 0.3333333333333333  (first head at an even flip)

Дальше#

Аксиомы фиксируют вероятности всех событий сразу. На практике поступает информация: тест оказался положительным, первая сданная карта — туз, пользователь уже кликнул. Следующая заметка определяет вероятность события при условии другого события, выводит из неё формулу Байеса и превращает расчёт с базовой частотой из вводной заметки в вычисление в две строки.

Литература#

• A. N. Kolmogorov. Grundbegriffe der Wahrscheinlichkeitsrechnung. Springer, 1933. English translation: Foundations of the Theory of Probability, Chelsea, 1956. Глава I (аксиомы), глава II (бесконечные вероятностные поля).
• J. K. Blitzstein, J. Hwang. Introduction to Probability, 2nd ed. CRC Press, 2019. Глава 1 (общее определение вероятности, формула включений–исключений, задача де Монмора о совпадениях).
• A. N. Shiryaev. Probability-1, 3rd ed. Springer, 2016. Глава 2, §1–3 (аксиомы Колмогорова, σ-алгебры, меры на прямой).
• P. Billingsley. Probability and Measure, 3rd ed. Wiley, 1995. Глава 1 (вероятностные пространства, σ-алгебры, неизмеримое множество).
• J. Bertrand. Calcul des probabilités. Gauthier-Villars, 1889. Случайная хорда.
• E. T. Jaynes. The Well-Posed Problem. Foundations of Physics, 3(4), 1973.