Курс / 03

Генеративные модели

Как выучить распределение по данным, сэмплировать из него новые объекты и решить, уловила ли модель данные. Шесть семейств моделей, и каждое по-своему выбирает между точным правдоподобием, быстрым сэмплированием и полезным латентным представлением.

Что нужно знать: теорию вероятностей (распределения, математическое ожидание, метод максимального правдоподобия) и машинное обучение до нейросетей и обратного распространения; для разделов «Ноутбук» пригодится немного PyTorch. Потоки, энергетические модели, диффузия и авторегрессионные модели — параллельные пути, а не лестница. Заметки с пометкой «Ответвление» — архитектурные и прикладные ветви; основной маршрут читается без них.

План курса → · Курс в одном абзаце →

  1. Вероятность
  2. Дивергенции
  3. Автоэнкодеры
  4. VAE
  5. GAN
  6. Оценка
  7. Потоки
  8. EBM
  9. Диффузия
  10. Авторегрессия
  11. Звук
  1. 01

    Основы

    Сэмплирование из шума, нормальное распределение, KL-дивергенция и сетевые блоки, из которых собраны модели дальше.

    После раздела: Сэмплировать из простого шума, вычислять KL-дивергенцию и говорить, какое её направление минимизирует подгонка.

    Опубликовано заметок: 6 из 6
  2. 02

    Вариационные автоэнкодеры

    Модель с латентными переменными, обучаемая через нижнюю оценку правдоподобия.

    После раздела: Называть порождающую модель, приближённое апостериорное распределение и оценку, которую VAE на самом деле оптимизирует.

    Опубликовано заметок: 2 из 2
  3. 03

    GAN

    Обучение сравнением сэмплов: генератор против дискриминатора или критика, затем архитектуры и приложения на этой основе.

    После раздела: Отличать плотность от дискриминатора или критика и объяснять, почему эту игру трудно обучать. Заметки после WGAN — ответвления.

    Опубликовано заметок: 8 из 8
  4. 04

    Оценка качества

    Что значит «хорошо» для сгенерированных объектов и чего не видит каждая метрика.

    После раздела: Выбирать метрику и протокол (экстрактор признаков, размер выборки, направление улучшения) и говорить, чего метрика не видит.

    Опубликовано заметок: 5 из 5
  5. 05

    Нормализующие потоки

    Точное правдоподобие через обратимые отображения.

    После раздела: Вычислять правдоподобие по формуле замены переменных и держать якобиан дешёвым.

    Опубликовано заметок: 2 из 2
  6. 06

    Модели, основанные на энергии

    Ненормированные плотности и сэмплеры, которые для них нужны.

    После раздела: Сэмплировать из ненормированной плотности с помощью MCMC и обучать энергию, не вычисляя нормировочную константу.

    Опубликовано заметок: 2 из 2
  7. 07

    Диффузионные модели

    Обучение обращению постепенного зашумления.

    После раздела: Выписывать прямой процесс, функцию потерь и сэмплер и отличать локальный скор от утверждения об итоговом распределении.

    Опубликовано заметок: 5 из 5
  8. 08

    Авторегрессионные модели

    Точное правдоподобие по цепному правилу, по одному элементу за раз.

    После раздела: Раскладывать распределение по цепному правилу, сэмплировать его поэлементно и понимать, почему это медленно.

    Опубликовано заметок: 2 из 2
  9. 09

    Генерация звука

    Те же методы в применении к речи и музыке.

    После раздела: Говорить, что в модели речи или музыки сжимается, чем она обусловлена, что сэмплируется и как оценивается.

    Опубликовано заметок: 1 из 1