Курс / 03
Генеративные модели
Как выучить распределение по данным, сэмплировать из него новые объекты и решить, уловила ли модель данные. Шесть семейств моделей, и каждое по-своему выбирает между точным правдоподобием, быстрым сэмплированием и полезным латентным представлением.
Что нужно знать: теорию вероятностей (распределения, математическое ожидание, метод максимального правдоподобия) и машинное обучение до нейросетей и обратного распространения; для разделов «Ноутбук» пригодится немного PyTorch. Потоки, энергетические модели, диффузия и авторегрессионные модели — параллельные пути, а не лестница. Заметки с пометкой «Ответвление» — архитектурные и прикладные ветви; основной маршрут читается без них.
- 01
Основы
Сэмплирование из шума, нормальное распределение, KL-дивергенция и сетевые блоки, из которых собраны модели дальше.
После раздела: Сэмплировать из простого шума, вычислять KL-дивергенцию и говорить, какое её направление минимизирует подгонка.
Опубликовано заметок: 6 из 6 - 02
Вариационные автоэнкодеры
Модель с латентными переменными, обучаемая через нижнюю оценку правдоподобия.
После раздела: Называть порождающую модель, приближённое апостериорное распределение и оценку, которую VAE на самом деле оптимизирует.
Опубликовано заметок: 2 из 2 - 03
GAN
Обучение сравнением сэмплов: генератор против дискриминатора или критика, затем архитектуры и приложения на этой основе.
После раздела: Отличать плотность от дискриминатора или критика и объяснять, почему эту игру трудно обучать. Заметки после WGAN — ответвления.
Опубликовано заметок: 8 из 8- Генеративно-состязательные сети (GAN)
- GAN Вассерштейна и ограничение Липшица
- Масштабирование GAN: прогрессивный рост, self-attention и BigGANОтветвление
- StyleGAN: генератор на основе стилейОтветвление
- Автоэнкодирующие GAN: состязательные автоэнкодеры и α-GANОтветвление
- CycleGAN: перевод изображений без парОтветвление
- StarGAN: один генератор для многих доменовОтветвление
- За пределами CycleGAN: мультимодальный, контрастный и семантический синтез изображенийОтветвление
- 04
Оценка качества
Что значит «хорошо» для сгенерированных объектов и чего не видит каждая метрика.
После раздела: Выбирать метрику и протокол (экстрактор признаков, размер выборки, направление улучшения) и говорить, чего метрика не видит.
Опубликовано заметок: 5 из 5 - 05
Нормализующие потоки
Точное правдоподобие через обратимые отображения.
После раздела: Вычислять правдоподобие по формуле замены переменных и держать якобиан дешёвым.
Опубликовано заметок: 2 из 2 - 06
Модели, основанные на энергии
Ненормированные плотности и сэмплеры, которые для них нужны.
После раздела: Сэмплировать из ненормированной плотности с помощью MCMC и обучать энергию, не вычисляя нормировочную константу.
Опубликовано заметок: 2 из 2 - 07
Диффузионные модели
Обучение обращению постепенного зашумления.
После раздела: Выписывать прямой процесс, функцию потерь и сэмплер и отличать локальный скор от утверждения об итоговом распределении.
Опубликовано заметок: 5 из 5 - 08
Авторегрессионные модели
Точное правдоподобие по цепному правилу, по одному элементу за раз.
После раздела: Раскладывать распределение по цепному правилу, сэмплировать его поэлементно и понимать, почему это медленно.
Опубликовано заметок: 2 из 2 - 09
Генерация звука
Те же методы в применении к речи и музыке.
После раздела: Говорить, что в модели речи или музыки сжимается, чем она обусловлена, что сэмплируется и как оценивается.
Опубликовано заметок: 1 из 1