Курс / 01
Теория вероятностей
Точные рассуждения об исходах, которые нельзя предсказать: от подсчёта вариантов до предельных теорем и того, как они становятся функциями потерь, оценками и гарантиями машинного обучения.
Что нужно знать: школьная алгебра, суммы и пределы. Производные и интегралы нужны начиная с непрерывных распределений; произведения и обращение матриц, собственные векторы — начиная с многомерного нормального распределения. Знакомство с теорией вероятностей не предполагается. Отступления с тяжёлыми доказательствами внутри заметок, например множество Витали или доказательство центральной предельной теоремы через характеристические функции, помечены как дополнительный материал, и при первом чтении их можно пропустить.
- 01
Основы
Что такое вероятность, как её считать и как её меняет информация.
После раздела: Отличать событие от модели и от наблюдения и пересчитывать вероятность по формуле Байеса.
Опубликовано заметок: 4 из 4 - 02
Случайные величины
Числа, порождённые случаем, и как их описывать.
После раздела: Подбирать распределение для величины, находить распределение функции от неё и считать её среднее и дисперсию.
Опубликовано заметок: 4 из 4 - 03
Несколько случайных величин
Как случайные величины зависят друг от друга.
После раздела: Работать с совместными и условными распределениями и многомерным нормальным распределением; объяснять, почему метод наименьших квадратов предсказывает условное среднее и почему нулевая ковариация в общем случае не означает независимости.
Опубликовано заметок: 3 из 3 - 04
Предельные теоремы
Почему усреднение работает, как быстро и почему нормальное распределение повсюду.
После раздела: Оценивать, насколько среднее может отклониться от математического ожидания: точно, неравенством для конечной выборки или асимптотически, и при каких условиях.
Опубликовано заметок: 3 из 3 - 05
От вероятности к статистике
От данных обратно к распределению, которое их породило.
После раздела: Оценивать параметр методом максимального правдоподобия или по Байесу, строить для него интервал и проверять гипотезу, не путая величину эффекта с ошибкой решения.
Опубликовано заметок: 5 из 5 - 06
Случайные процессы и сэмплирование
Случайные системы, меняющиеся во времени, и сэмплирование из распределений, которые не выписать явно.
После раздела: Смена задачи: распределение известно, возможно с точностью до константы, но его интегралы не берутся, а сэмплировать из него напрямую нельзя. Считать его предсказания цепями Маркова, методом Монте-Карло и MCMC и проверять, сошлась ли цепь.
Опубликовано заметок: 3 из 3