DDPM: прямой процесс

Заметка о моделях, основанных на энергии, закончилась на цене этого подхода: модель, основанную на энергии (energy-based model), обучают с короткими смещёнными цепочками MCMC, которые запускаются внутри каждого обновления параметров, поэтому выученная модель зависит от сэмплера не меньше, чем от данных. Диффузионные модели выносят сэмплирование из обучения. Они фиксируют простой процесс зашумления, который превращает данные в гауссовский шум, и учатся обращать его по одному малому шагу за раз. Каждый обратный шаг близок к гауссовскому, поэтому сеть выучивает его регрессией на зашумлённых сэмплах, которые фиксированный процесс даёт бесплатно. Оказывается, эта сеть выучивает score зашумлённых данных — градиент энергии со знаком минус и направление, по которому движется сэмплирование динамикой Ланжевена (заметка о score matching). Зашумлённые латентные переменные сохраняют размерность данных, архитектура сети ничем не ограничена, а платой становится нижняя оценка правдоподобия вместо самого правдоподобия. DDPM (Denoising Diffusion Probabilistic Models, шумоподавляющие диффузионные вероятностные модели; Ho, Jain and Abbeel, 2020) — модель, которая довела качество изображений у диффузионных моделей до уровня, сравнимого с GAN. Эта заметка посвящена её первой половине — прямому процессу (forward process): фиксированной процедуре, которая постепенно превращает изображение в гауссовский шум. Вторая половина — нейронная сеть, которая выполняет эту процедуру в обратном направлении, — описана в следующей заметке.

Обозначения. $x_0$ — точка данных (изображение), а $x_t$ — её зашумлённая версия после $t$ шагов, $t = 1, \dots, T$. Через $q$ обозначается фиксированный прямой процесс (процесс зашумления): $q(x_0)$ — распределение данных, а $q(x_t \mid x_{t-1})$ — один шаг зашумления. $p_\theta(x_{t-1} \mid x_t)$ — обучаемый обратный шаг с параметрами сети $\theta$. $\varepsilon \sim \mathcal N(0, 1)$ — стандартный гауссовский шум, который на каждом шаге сэмплируется заново, а второй аргумент $\mathcal N(\mu, \sigma^2)$ — это дисперсия. Мы работаем в одном измерении; для изображений каждый пиксель зашумляется независимо и $1$ превращается в единичную матрицу $I$, так что целевое распределение — $\mathcal N(0, I)$.

Немного истории#

• В 2015 году, когда лучшими в генерации изображений были GAN, вышла статья Sohl-Dickstein et al. (2015) Deep Unsupervised Learning using Nonequilibrium Thermodynamics. В ней появилась идея диффузионных моделей: разрушить структуру данных медленным процессом зашумления, а затем научиться обращать этот процесс.
• Пять лет спустя DDPM упростила параметризацию и функцию потерь и достигла качества изображений, которое может соперничать с GAN. Её целевая функция обучения по-прежнему выводится из вариационной нижней оценки правдоподобия — того же инструмента, что и в VAE.
• Вскоре после этого диффузионные модели обошли GAN на стандартных бенчмарках генерации изображений (Dhariwal and Nichol, 2021).

Задача#

Мы не знаем распределение реальных изображений, но хотим сэмплировать из него новые изображения. В обозначениях диффузионных моделей это распределение записывается как $q(x_0)$, потому что с него начинается прямой процесс $q$.

Идея диффузии — связать $q(x_0)$ с распределением, из которого мы умеем сэмплировать. Возьмём реальное изображение $x_0$ — исходную фотографию — и добавим немного шума, чтобы получить $x_1$, затем ещё немного, чтобы получить $x_2$, и так далее, пока $x_T$ не станет чистым шумом. Каждый шаг прямого процесса фиксирован и не требует обучения. Модель — обучаемый обратный шаг $p_\theta(x_{t-1} \mid x_t)$ — идёт в другую сторону: по $x_t$ она строит $x_{t-1}$, на один шаг ближе к изображению. Чтобы сгенерировать изображение, мы сэмплируем чистый шум $x_T$ и применяем модель $T$ раз.

$$\begin{gathered} \underset{\text{изображение}}{x_0} \;\longrightarrow\; x_1 \;\longrightarrow\; \cdots \;\longrightarrow\; \underset{\text{шум}}{x_T}, \\ x_{t-1} \;\xleftarrow{\;p_\theta(x_{t-1} \mid x_t)\;}\; x_t . \end{gathered}$$

Рисунок

Прямая цепочка добавляет шум, модель идёт обратно

Первая попытка: просто добавить шум#

Простейший шаг добавляет шум с дисперсией $\beta$:

$$\begin{gathered} x_1 = x_0 + \sqrt{\beta}\,\varepsilon, \quad \varepsilon \sim \mathcal N(0, 1) \\ \Longrightarrow\quad q(x_1 \mid x_0) = \mathcal N(x_0, \beta), \end{gathered}$$

где $\beta$ — дисперсия шума. Здесь важен квадратный корень: дисперсия $c\,\varepsilon$ равна $c^2$, поэтому шум с дисперсией $\beta$ — это $\sqrt\beta\,\varepsilon$. Следующий шаг делает то же самое с $x_1$: $q(x_2 \mid x_1) = \mathcal N(x_1, \beta)$.

Теперь цепочку можно сократить. Два шага добавляют два независимых шума, а дисперсии независимых гауссовских величин складываются:

$$\begin{aligned} x_2 &= x_1 + \sqrt\beta\,\varepsilon_2 \\ &= x_0 + \sqrt\beta\,\varepsilon_1 + \sqrt\beta\,\varepsilon_2 \\ &= x_0 + \sqrt{2\beta}\,\varepsilon, \\ q(x_2 \mid x_0) &= \mathcal N(x_0, 2\beta), \end{aligned}$$

где $\varepsilon = (\varepsilon_1 + \varepsilon_2)/\sqrt2$ — снова стандартная нормальная величина. Всякий раз, когда ниже несколько шумов объединяются в один, $\varepsilon$ обозначает объединённую стандартную нормальную величину в этом смысле, так что такие равенства выполняются по распределению.

Продолжая так же, после $t$ шагов получаем

$$\begin{gathered} x_t = x_0 + \sqrt{t\beta}\,\varepsilon, \\ q(x_t \mid x_0) = \mathcal N(x_0, t\beta). \end{gathered}$$

Это полезное сокращение: от $x_0$ можно перейти к любому $x_t$ за одно сэмплирование. Но посмотрим на два параметра:

• среднее не меняется: оно навсегда остаётся равным $x_0$;
• дисперсия неограниченно растёт: $t\beta \to \infty$.

Поэтому цепочка никогда не приходит к $\mathcal N(0, 1)$: дисперсия растёт без ограничений, и нет фиксированного предельного распределения, с которого могла бы начаться генерация. Влияние изображения ослабевает лишь относительно растущего разброса. Такой процесс называют диффузией с растущей дисперсией (variance-exploding) (Song et al., 2021, §3.4). Модели, построенные на нём, останавливаются на большом конечном уровне шума $\sigma_{\max}$ и начинают сэмплирование из $\mathcal N(0, \sigma_{\max}^2)$ (Song et al., 2021, §2.1).

Цель и шаг с масштабированием#

Мы хотим, чтобы выполнялось

$$q(x_t \mid x_0) \xrightarrow[t\to\infty]{} \mathcal N(0, 1),$$

каким бы ни было начальное изображение. Для этого нужен новый способ переходить от шага $t-1$ к шагу $t$; в частности, шаг должен каждый раз менять среднее, притягивая его к $0$. В общем случае Sohl-Dickstein et al. допускают любое марковское переходное ядро $T_\pi(x_t \mid x_{t-1}; \beta_t)$, которое оставляет неизменным простое целевое распределение $\pi$, $\pi(y) = \int T_\pi(y \mid y'; \beta)\,\pi(y')\,dy'$ (2015, §2.1, формулы 1–2): биномиальное ядро для бинарных данных, гауссовское — для вещественных. Для вещественных значений будем искать шаг вида $x_t = a\,x_{t-1} + \sqrt\beta\,\varepsilon$. Гауссовское переходное ядро диффузионных моделей, которое ввели Sohl-Dickstein et al. (2015, таблица App.1) и сохранила DDPM (Ho, Jain and Abbeel, 2020, формула 2), умножает предыдущую точку на $a = \sqrt{1-\beta}$:

$$\begin{gathered} x_t = \sqrt{1-\beta}\;x_{t-1} + \sqrt{\beta}\;\varepsilon, \\ q(x_t \mid x_{t-1}) = \mathcal N\!\big(\sqrt{1-\beta}\;x_{t-1},\; \beta\big). \end{gathered}$$

Рисунок

Шаг за шагом или сразу от x₀ к xₜ

Почему именно $\sqrt{1-\beta}$? Новый шум не зависит от $x_{t-1}$, поэтому дисперсия подчиняется рекуррентному соотношению $\operatorname{Var}(x_t) = a^2 \operatorname{Var}(x_{t-1}) + \beta$. Неподвижная точка этого соотношения равна $1$, дисперсии целевого распределения, только если $a^2 + \beta = 1$. Значит, $a = \sqrt{1-\beta}$ — единственный положительный масштаб, при котором единичная дисперсия остаётся равной $1$, и он же притягивает к $1$ любую другую дисперсию (см. врезку ниже). При таком $a$ переход от $x_0$ к любому $x_t$ принимает особенно простой замкнутый вид, в котором сумма квадратов двух коэффициентов равна $1$ (Ho, Jain and Abbeel, 2020, формула 4):

$$\begin{gathered} x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\;\varepsilon, \\ \bar\alpha_t = (1-\beta)^t, \end{gathered}$$ $$q(x_t \mid x_0) = \mathcal N\!\big(\sqrt{\bar\alpha_t}\,x_0,\; 1-\bar\alpha_t\big).$$

Если положить $\bar\alpha_0 = 1$, формула охватывает и случай $t = 0$. Значит, $x_t$ для любого шага можно получить прямо из $x_0$, за одно сэмплирование, не выполняя $t$ предшествующих шагов.

Почему это приводит к N(0, 1)#

Если $\beta \in (0, 1)$, то $\bar\alpha_t = (1-\beta)^t \to 0$ при $t \to \infty$. Тогда член с изображением $\sqrt{\bar\alpha_t}\,x_0 \to 0$, а коэффициент шума $\sqrt{1-\bar\alpha_t} \to 1$, так что шумовой член стремится просто к $\varepsilon$ с дисперсией $1$:

$$q(x_t \mid x_0) \xrightarrow[t\to\infty]{} \mathcal N(0, 1).$$

Например, при постоянном $\beta = 0.02$:

$t$	$\bar\alpha_t = 0.98^t$	коэффициент среднего $\sqrt{\bar\alpha_t}$	стандартное отклонение шума $\sqrt{1-\bar\alpha_t}$	стандартное отклонение шума в наивной цепочке $\sqrt{t\beta}$
1	0.980	0.990	0.141	0.141
10	0.817	0.904	0.428	0.447
50	0.364	0.603	0.797	1.000
100	0.133	0.364	0.931	1.414
200	0.0176	0.133	0.991	2.000

При малых $t$ две цепочки почти совпадают. Затем разброс наивной цепочки превышает целевой и продолжает расти, а у DDPM он приближается к $1$ снизу. При конечном $T$ член с изображением $\sqrt{\bar\alpha_T}\,x_0$ мал лишь относительно масштаба $x_0$; это одна из причин, по которым изображения перед диффузией масштабируют в $[-1, 1]$ (следующая заметка).

Рисунок

Растущая дисперсия против сохранения дисперсии

То же происходит со всем распределением данных. Его маргинальное распределение на шаге $t$ равно $q(x_t) = \int q(x_t \mid x_0)\,q(x_0)\,dx_0$. Чтобы увидеть, что оно тоже стремится к $\mathcal N(0, 1)$, запишем $x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\varepsilon$, где $x_0 \sim q(x_0)$ не зависит от $\varepsilon$. Первый член — фиксированная случайная величина, умноженная на множитель, который стремится к $0$, поэтому он стремится к $0$ при любом распределении данных, а второй член стремится к $\varepsilon$; следовательно, $x_t \to \mathcal N(0, 1)$ по распределению. В одном измерении двугорбая плотность расплывается, её горбы движутся к $0$ и сливаются (между $t = 200$ и $t = 300$ для данных на рисунке ниже), и в конце остаётся одна колоколообразная кривая с центром в $0$. Конечный батч сэмплов по пути выглядит зубчатым, но сама плотность остаётся гладкой: это свёртка плотности данных с гауссианой. Для смеси гауссиан маргинальное распределение остаётся смесью и записывается точно:

$$\begin{aligned} q(x_0) &= \textstyle\sum_k \pi_k\,\mathcal N(\mu_k, \sigma_k^2), \\ q(x_t) &= \textstyle\sum_k \pi_k\,\mathcal N\!\big(\sqrt{\bar\alpha_t}\,\mu_k,\; s_{k,t}^2\big), \\ s_{k,t}^2 &= \bar\alpha_t\sigma_k^2 + 1 - \bar\alpha_t. \end{aligned}$$

Обе компоненты притягиваются к среднему $0$ и дисперсии $1$, поэтому сливаются в одно стандартное нормальное распределение.

Рисунок

Распределение данных растворяется в N(0, 1)

На практике: расписание β#

На практике $\beta$ не постоянна, а меняется от шага к шагу: $\beta_1, \dots, \beta_T$; это расписание шума (noise schedule). Вывод выше проходит без изменений, если на шаге $t$ заменить $(1-\beta)$ на $(1-\beta_t)$:

$$\begin{gathered} q(x_t \mid x_{t-1}) = \mathcal N\!\big(\sqrt{1-\beta_t}\,x_{t-1},\; \beta_t\big), \\ \bar\alpha_t = \textstyle\prod_{i=1}^{t} (1-\beta_i), \\ q(x_t \mid x_0) = \mathcal N\!\big(\sqrt{\bar\alpha_t}\,x_0,\; 1-\bar\alpha_t\big). \end{gathered}$$

Обычно используют сокращение $\alpha_t = 1-\beta_t$, так что $\bar\alpha_t = \prod_{i \le t}\alpha_i$. В статье DDPM берутся $T = 1000$ шагов и линейное расписание от $\beta_1 = 10^{-4}$ до $\beta_T = 0.02$ (Ho, Jain and Abbeel, 2020, §4). Позже обнаружилось, что косинусное расписание, которое разрушает информацию равномернее во времени, лучше работает на низком разрешении (Nichol and Dhariwal, 2021, §3.2). Малые шаги в начале оставляют ранние $x_t$ близкими к изображению; более крупные шаги потом доводят дело до конца. При линейном расписании DDPM $\bar\alpha_t$ примерно равно $0.5$ при $t \approx 259$ (ниже $0.5$ оно опускается при $t = 260$), падает ниже $0.01$ при $t = 674$ и заканчивается на $\bar\alpha_{1000} \approx 4.0\times10^{-5}$, так что на практике $x_{1000}$ — просто шум.

Рисунок

Линейное расписание β и соответствующее α̅ₜ

Расписание можно описать и через отношение сигнал/шум (signal-to-noise ratio), $\mathrm{SNR}_t = \bar\alpha_t / (1 - \bar\alpha_t)$: квадрат коэффициента при изображении, делённый на дисперсию шума; для данных с единичной дисперсией это отношение двух дисперсий. Для линейного расписания оно падает примерно от $10^4$ при $t = 1$ до $4\times10^{-5}$ при $t = T$. Быстрые сэмплеры из заметки о латентной диффузии работают с его логарифмом.

Линейное, квадратичное, сигмоидное и косинусное расписания#

Линейное расписание — лишь один из нескольких вариантов (их обзор — у Weng, 2021). Обозначим через $u_t = (t - 1)/(T - 1) \in [0, 1]$ положение в цепочке. При тех же крайних значениях $\beta_1 = 10^{-4}$ и $\beta_T = 0.02$ три распространённые формы задаются через $\beta_t$:

$$\begin{aligned} \text{линейное:}\quad & \beta_t = \beta_1 + (\beta_T - \beta_1)\,u_t, \\ \text{квадратичное:}\quad & \beta_t = \big(\sqrt{\beta_1} + (\sqrt{\beta_T} - \sqrt{\beta_1})\,u_t\big)^2, \\ \text{сигмоидное:}\quad & \beta_t = \beta_1 + (\beta_T - \beta_1)\,\operatorname{sigmoid}(12\,u_t - 6). \end{aligned}$$

Квадратичное расписание линейно интерполирует амплитуду шума $\sqrt{\beta_t}$, поэтому его шаги дольше остаются малыми. Сигмоидное расписание плоское на обоих концах и меняется в середине; поскольку $\operatorname{sigmoid}(\pm 6)$ не равна в точности $0$ или $1$, его $\beta_t$ на самом деле меняются от $1.5\times10^{-4}$ до $0.01995$. Косинусное расписание (Nichol and Dhariwal, 2021, §3.2, формула 17) задаёт не шаги, а $\bar\alpha_t$ и выводит шаги из него:

$$\begin{gathered} \bar\alpha_t = \frac{f(t)}{f(0)}, \qquad f(t) = \cos^2\!\Big(\frac{t/T + s}{1 + s}\cdot\frac{\pi}{2}\Big), \\ \beta_t = 1 - \frac{\bar\alpha_t}{\bar\alpha_{t-1}} , \end{gathered}$$

со сдвигом $s = 0.008$, выбранным так, чтобы амплитуда шума на первом шаге была чуть меньше ширины $1/127.5$ одного уровня яркости пикселя, и с $\beta_t$, обрезанными сверху на $0.999$. Без обрезки $f(T) = 0$ дало бы $\beta_T = 1$; с ней $\bar\alpha_{1000} \approx 2.4 \times 10^{-9}$.

Рисунок

Четыре расписания шума: как убывает α̅ₜ

При $T = 1000$:

расписание	$\bar\alpha_t < 0.5$ начиная с	$\bar\alpha_t < 0.01$ начиная с	$\bar\alpha_{1000}$
линейное	$t = 260$	$t = 674$	$4.0 \times 10^{-5}$
квадратичное	$t = 419$	$t = 851$	$7.3 \times 10^{-4}$
сигмоидное	$t = 440$	$t = 721$	$4.0 \times 10^{-5}$
косинусное	$t = 497$	$t = 936$	$2.4 \times 10^{-9}$

Линейное расписание разрушает изображение быстрее всех: половина дисперсии сигнала исчезает к $t = 260$, а начиная с $t = 674$ остаётся меньше $1\%$, так что последняя треть цепочки работает почти с чистым шумом. Nichol and Dhariwal сочли это расточительным при $32 \times 32$ и $64 \times 64$: модель, обученная с линейным расписанием, почти не проигрывает в FID, если пропустить первые $20\%$ обратного процесса — его самый зашумлённый конец. Их косинусное расписание построено так, чтобы $\bar\alpha_t$ убывало почти линейно в середине и мало менялось у обоих концов; оно пересекает $0.5$ близко к $T/2$. На ImageNet $64 \times 64$ ($T = 4000$, $L_{\text{simple}}$, 200K итераций) оно улучшило FID с $31.3$ до $27.0$, а правдоподобие — с $3.77$ до $3.68$ бита на размерность (bits per dimension; их таблица 1). Квадратичное расписание показывает обратный риск: оно заканчивается на $\bar\alpha_{1000} \approx 7.3 \times 10^{-4}$, так что в $x_T$ сохраняется доля $\sqrt{\bar\alpha_T} \approx 0.027$ изображения, и $q(x_T \mid x_0)$ лежит дальше от $\mathcal N(0, I)$, с которого начинается сэмплирование, чем у трёх других расписаний.

Ноутбук#

Ноутбук по диффузионным моделям из репозитория HSE-LAMBDA Deep Generative Models (ссылка закреплена на конкретном коммите; ячейки нумеруются с 1, считая все ячейки подряд) основан на руководстве по диффузионным моделям ACIDS-IRCAM. Сохранённых выходов ячеек в нём нет, поэтому он документирует процедуры, а не результаты.

В ноутбуке взята игрушечная постановка: двумерный «швейцарский рулет» (Swiss roll) и $T = 100$ шагов. Первая демонстрация запускает пошаговую цепочку с постоянным $\beta = 0.0005$, для которого $\bar\alpha_{100} \approx 0.951$. Остальная часть ноутбука использует сигмоидное расписание с началом $10^{-5}$ и концом $10^{-2}$, для которого $\bar\alpha_{100} \approx 0.605$; поскольку сигмоида от $\pm 6$ не равна в точности $0$ или $1$, фактические $\beta_t$ меняются примерно от $3.5\times10^{-5}$ до $1.0\times10^{-2}$. Ноутбук сэмплирует $x_t$ напрямую по формуле в замкнутом виде (q_sample, alphas_bar_sqrt, one_minus_alphas_bar_sqrt). Ни одно из игрушечных расписаний не подходит близко к $\bar\alpha = 0$: коэффициент среднего $\sqrt{\bar\alpha_{100}}$ всё ещё около $0.98$ и $0.78$ соответственно, так что $x_{100}$ несёт значительную часть сигнала данных. Реальным моделям нужно намного больше шагов или более крупные $\beta$.

• Ячейки 4–6 сэмплируют двумерный «швейцарский рулет», который используется во всём ноутбуке.
• Ячейки 8–10: текстовая ячейка 8 вводит общее марковское переходное ядро $T_\pi(x_t \mid x_{t-1}; \beta_t)$ из Sohl-Dickstein et al. и затем выбирает гауссовское. forward_process реализует $x_t = \sqrt{1-\beta_t}\,x_{t-1} + \sqrt{\beta_t}\,\varepsilon$, где $\beta$ — дисперсия, а $\sqrt\beta$ — амплитуда шума, и запускает его на 100 шагов с постоянным $\beta = 0.0005$. Возвращаемый список начинается с чистых данных под индексом 0.
• Ячейка 12: make_beta_schedule с линейным, квадратичным и сигмоидным расписаниями, записанными выше (по умолчанию $T = 1000$, начало $10^{-5}$, конец $10^{-2}$; ноутбук вызывает её с $T = 100$). При этих крайних значениях и $T = 100$ значение $\bar\alpha_{100}$ равно $0.605$ для линейного и сигмоидного расписаний и $0.707$ — для квадратичного. Косинусное расписание не реализовано.
• Ячейки 13–16: сэмплер q_sample по формуле в замкнутом виде с сигмоидным расписанием, который использует alphas_bar_sqrt и one_minus_alphas_bar_sqrt. Вспомогательная функция extract(a, t, x) выбирает коэффициент a[t] для шага каждого примера и меняет его форму так, чтобы он распространялся (broadcasting) на размерности данных. Индекс коэффициента $i$ в коде соответствует $t = i + 1$ в формулах, поэтому подпись графика $x_0$ уже относится к первому зашумлённому маргинальному распределению. Это сэмплы, взятые напрямую из $q(x_t \mid x_0)$ для каждого $t$, а не одна коррелированная траектория.

Обратные сэмплеры (ячейки 24 и 47) начинают с $\mathcal N(0, I)$, но при сигмоидном расписании $q(x_{100} \mid x_0) = \mathcal N(0.78\,x_0,\; 0.40\,I)$, так что начальное распределение не совпадает с концом прямой цепочки. Обратный процесс, целевая функция обучения и сэмплер — в ячейках 17–48; они описаны в следующей заметке.

Дальше#

Теперь у нас есть диффузионный процесс, который превращает любое изображение в шум, на практике неотличимый от $\mathcal N(0, I)$; для расписания DDPM $\bar\alpha_T \approx 4\times10^{-5}$. Чтобы генерировать, этот процесс нужно обратить, и делается это с помощью глубокой нейронной сети. Как поставить задачу для этой сети и обучить её — тема заметки DDPM: обратный процесс и целевая функция обучения.

Литература#

• J. Sohl-Dickstein, E. A. Weiss, N. Maheswaranathan, S. Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. ICML, 2015.
• J. Ho, A. Jain, P. Abbeel. Denoising diffusion probabilistic models. NeurIPS, 2020.
• A. Q. Nichol, P. Dhariwal. Improved denoising diffusion probabilistic models. ICML, 2021.
• P. Dhariwal, A. Nichol. Diffusion models beat GANs on image synthesis. NeurIPS, 2021.
• Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon, B. Poole. Score-based generative modeling through stochastic differential equations. ICLR, 2021.
• C. Luo. Understanding diffusion models: A unified perspective. arXiv:2208.11970, 2022.
• L. Weng. What are diffusion models? Пост в блоге, 2021 (обновлён в 2024). Раздел «Parameterization of β_t».
• HSE-LAMBDA, репозиторий курса Deep Generative Models: 02_DPM_Models.ipynb.