Латентная диффузия и Stable Diffusion

Заметки о DDPM и score matching описывают одну модель, которая шаг за шагом очищает изображение от шума. Каждый шаг прогоняет сеть по каждому пикселю, а сэмплу нужны десятки и сотни шагов. Большая часть этой работы уходит на детали, которых никто не видит: точную текстуру травы или шум матрицы камеры. Латентная диффузия (latent diffusion, Rombach et al., 2022) делит задачу надвое. Автоэнкодер один раз убирает незаметные детали; диффузионная модель работает только с оставшимся маленьким латентом и тратит свою ёмкость на то, что изображение показывает. Stable Diffusion — это такая схема с присоединённым текстовым энкодером.

Какая Stable Diffusion. Константы ниже относятся к конкретным чекпойнтам, а не к латентной диффузии вообще. Числа для $512 \times 512$, масштаб латента 0.18215 и текстовые энкодеры на 77 токенов — это Stable Diffusion 1.x и 2.x, а масштаб guidance 7.5 — значение по умолчанию в их конвейере Diffusers. У SDXL, более поздней модели, U-Net больше и два текстовых энкодера (Podell et al., 2023); её опубликованный автоэнкодер использует масштаб латента 0.13025, а её конвейер Diffusers — guidance 5.0 по умолчанию.

Обозначения. Изображение $x \in \mathbb R^{H \times W \times 3}$, энкодер $\mathcal E$ и декодер $\mathcal D$ с $z = \mathcal E(x) \in \mathbb R^{h \times w \times c}$, коэффициент уменьшения $f = H/h = W/w$. Условие $y$ (запрос) и его энкодер $\tau(y)$. Величины диффузии $z_t$, $\bar\alpha_t$, $\varepsilon_\theta$ — те же, что в заметках о DDPM, только применённые к $z$ вместо $x$.

Два вида сжатия#

Обученная модель изображений сжимает в двух смыслах. Перцептивное сжатие выбрасывает высокочастотные детали, которые меняют много битов изображения и почти ничего из того, что воспринимает человек. Семантическое сжатие схватывает компоновку и содержание изображения: какие объекты, где, в каком стиле. Модель правдоподобия в пространстве пикселей платит за каждый бит, а статья показывает, что большинство этих битов относится к перцептивной части. Латентная диффузия отдаёт каждую часть подходящей ей модели: первую — автоэнкодеру, обученному с перцептивной и состязательной функциями потерь, вторую — диффузионной модели.

Выигрыш велик. Stable Diffusion при $512 \times 512$ использует $f = 8$ и $c = 4$: в изображении $512 \cdot 512 \cdot 3 = 786\,432$ числа, а в латенте $64 \cdot 64 \cdot 4 = 16\,384$ — в 48 раз меньше. Внимание растёт ещё быстрее. Самовнимание по сетке $64 \times 64$ сравнивает $4096^2 \approx 1.7 \cdot 10^7$ пар; по пикселям $512 \times 512$ оно сравнивало бы $262\,144^2 \approx 6.9 \cdot 10^{10}$ — в 4096 раз больше, поэтому модели в пространстве пикселей применяют внимание только на грубых разрешениях. Память важна не меньше времени: одна карта внимания $4096 \times 4096$ уже содержит $1.7 \cdot 10^7$ элементов — 67 МБ в 32-битных числах с плавающей точкой — для каждой головы и каждого изображения батча. Библиотеки умеют вычислять внимание по частям (slicing), по нескольку голов или изображений за раз: результат тот же, пиковое потребление памяти ниже, а скорость немного меньше.

Автоэнкодер#

Первая ступень обучается один раз и затем замораживается. Её функция потерь объединяет слагаемое восстановления, перцептивную функцию потерь (perceptual loss), сравнивающую глубокие признаки восстановления и изображения, как это делает LPIPS, и состязательную функцию потерь по фрагментам (patch-based adversarial loss), чей дискриминатор судит маленькие фрагменты, чтобы восстановления оставались чёткими, а не усреднялись до размытости. Латент держится близко к простому распределению одним из двух способов: слабым штрафом KL к $\mathcal N(0, I)$, как в VAE с очень маленьким весом слагаемого KL, или слоем векторного квантования, как в VQ-VAE. В отличие от VAE, используемого как генератор, от этого автоэнкодера не требуют, чтобы сэмплы из априорного распределения выглядели хорошо: априорное распределение даёт диффузионная модель.

Коэффициент уменьшения задаёт разделение труда. При $f = 1$ диффузионная модель по-прежнему делает всю перцептивную работу и обучается медленно; при $f = 32$ автоэнкодер теряет информацию, которую декодер не может восстановить, и качество перестаёт расти. Статья находит, что $f$ от 4 до 16 даёт хороший баланс, а лучшие — $f = 4$ и $f = 8$. Поскольку штраф KL слаб, у латентов Stable Diffusion дисперсия не равна 1; код умножает их на фиксированный масштаб, 0.18215 для версий 1.x и 2.x, чтобы диффузия начиналась с данных примерно единичной дисперсии.

Диффузия в латенте#

Обучение — это целевая функция DDPM с $z$ вместо $x$:

$$\mathcal L = \mathbb E_{z_0 = \mathcal E(x),\ \varepsilon,\ t}\Big[\big\lVert \varepsilon - \varepsilon_\theta\big(\sqrt{\bar\alpha_t}\, z_0 + \sqrt{1 - \bar\alpha_t}\,\varepsilon,\ t,\ \tau(y)\big)\big\rVert^2\Big] .$$

Генерация берёт $z_T \sim \mathcal N(0, I)$, проходит обратную цепочку в латентном пространстве и один раз в конце декодирует, $\hat x = \mathcal D(z_0)$. Сеть — U-Net, свёрточная, со слоями внимания на низких разрешениях.

Рисунок

Латентная диффузия: Stable Diffusion при 512×512

Обусловливание через перекрёстное внимание#

Условие входит через перекрёстное внимание (cross-attention, заметка о внимании): запросы берутся из признаков U-Net для $z_t$, ключи и значения — из закодированного условия,

$$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\Big(\frac{Q K^\top}{\sqrt d}\Big) V, \qquad Q = W_Q\, \varphi(z_t), \quad K = W_K\, \tau(y), \quad V = W_V\, \tau(y),$$

где $\varphi(z_t)$ — вытянутые в вектор промежуточные признаки. Каждая пространственная позиция латента смотрит на токены запроса, так что разные области могут следовать разным словам. В Stable Diffusion $\tau$ — замороженный текстовый энкодер, превращающий запрос в 77 векторов токенов: CLIP ViT-L/14 размерности 768 в версиях 1.x, OpenCLIP ViT-H/14 размерности 1024 в версиях 2.x. Тот же механизм принимает и другие условия — метки классов, карты сегментации, изображения низкого разрешения.

Взвешивание запроса (prompt weighting). Каждый токен попадает в U-Net своим вектором $\tau(y)_i$, поэтому понятие можно усилить или ослабить уже после кодирования, без переобучения. Распространённое правило сдвигает вектор токена дальше от вектора на той же позиции для пустого запроса или ближе к нему,

$$\tau(y)_i \;\leftarrow\; \tau(\varnothing)_i + w_i\,\big(\tau(y)_i - \tau(\varnothing)_i\big),$$

с $w_i > 1$, чтобы усилить понятие, и $w_i < 1$, чтобы ослабить. Изменение действует через перекрёстное внимание: ключ токена меняет то, насколько латент обращает на него внимание, а значение — то, что латент из него считывает. Библиотека Compel записывает веса суффиксами, каждый + — множитель $1.1$, каждый - — множитель $0.9$: у ball++ вес $1.1^2 = 1.21$, у ball-- — $0.9^2 = 0.81$, у forest--- — $0.9^3 = 0.729$. Для весов меньше $1$ она ещё и смешивает результат с кодировкой запроса, в котором эти токены замаскированы.

Classifier-free guidance#

Условная модель, сэмплируемая как есть, следует запросу лишь приблизительно. Classifier-free guidance (Ho and Salimans, 2022) усиливает это без отдельного классификатора. При обучении условие в части шагов заменяется пустым — в статье в 10 или 20%, — так что одна сеть учит и $\varepsilon_\theta(z_t, t, y)$, и $\varepsilon_\theta(z_t, t, \varnothing)$. При сэмплировании два предсказания экстраполируются:

$$\tilde\varepsilon = \varepsilon_\theta(z_t, t, \varnothing) + s\,\big(\varepsilon_\theta(z_t, t, y) - \varepsilon_\theta(z_t, t, \varnothing)\big) .$$

$s = 0$ — безусловная модель, $s = 1$ — обычная условная, а $s > 1$ уходит дальше неё; конвейер Diffusers для Stable Diffusion 1.x и 2.x по умолчанию использует $s = 7.5$. Поскольку предсказание шума — это отмасштабированный score, $s_\theta = -\varepsilon_\theta / \sqrt{1 - \bar\alpha_t}$ (заметка о score matching), направленное предсказание — это score

$$(1 - s)\, \nabla \log p(z) + s\, \nabla \log p(z \mid y) = \nabla \log\big[p(z)^{1 - s}\, p(z \mid y)^{s}\big],$$

а по формуле Байеса $p(z \mid y) \propto p(y \mid z)\, p(z)$ это $\nabla \log p(z) + s\, \nabla \log p(y \mid z)$: безусловный score плюс $s$ градиентов неявного классификатора.

Score на каждом уровне шума, а не целевое распределение. Тождество выполняется на каждом шаге отдельно, с зашумлёнными маргинальными распределениями $q_t$ вместо $p$: направленное предсказание — это score плотности $r_t(z) \propto q_t(z)^{1-s}\, q_t(z \mid y)^{s}$. При $s = 0$ и $s = 1$ семейство $r_t$ — зашумление одного распределения. При других $s$ в общем случае нет: зашумление $p^{1-s}\, p(\cdot \mid y)^{s}$ не даёт $r_t$, и никакое другое отдельное распределение тоже. В разобранном ниже примере каждое $r_t$ — гауссиана, и чистое распределение, из которого оно должно было бы получиться, имеет среднее $2.40$ на последнем шаге, но $2.58$ при $t = 0.2$, если время идёт от $0$ (данные) до $1$ (шум). Поэтому сэмплер, которым управляет направленный score, в общем случае не приходит к $p^{1-s}\, p(\cdot \mid y)^{s}$, а стохастический сэмплер DDPM и детерминированный сэмплер DDIM из следующего раздела с одной и той же сетью приходят к разным распределениям (Bradley and Nakkiran, 2024). Тождество задаёт направление каждого шага: к областям, которые предпочитает неявный классификатор на данном уровне шума.

Разобранный пример. Возьмём безусловное $p = \mathcal N(0, 4)$ и условное $p(\cdot \mid y) = \mathcal N(2, 1)$. На последнем шаге направленный score — это score плотности $p^{1-s}\, p(\cdot \mid y)^{s}$, гауссианы с точностью $(1 - s)/4 + s$ и средним, равным $2s$, делённому на эту точность. При $s = 3$ точность $2.5$, так что стандартное отклонение $0.63$, а среднее $2.4$; при $s = 7.5$ точность $5.875$, стандартное отклонение $0.41$, среднее $2.55$. Сэмплеры приходят в другое место. С точными гауссовскими score, чтобы ошибка сети не участвовала, и непрерывной версией линейного расписания DDPM ($\beta$ от $0.1$ до $20$) сэмплирование с guidance при $s = 3$ заканчивается средним $2.63$ и стандартным отклонением $0.52$ у стохастического сэмплера и средним $3.00$ и стандартным отклонением $0.25$ у детерминированного; при $s = 7.5$ — $2.67$ и $0.31$, а также $2.88$ и $0.01$. Направление совпадает с наклонённой плотностью, но выражено сильнее: guidance сужает распределение и уводит его от безусловного среднего дальше условного. Сэмплы становятся типичнее для запроса и менее разнообразны — это сторона точности в компромиссе из заметки о точности и полноте. Каждый шаг стоит двух вычислений сети — с запросом и без.

Рисунок

Направленный score на последнем шаге указывает на более узкую и сдвинутую плотность

Меньше шагов#

DDPM сэмплирует за столько шагов, сколько использовалось при обучении, — 1000, потому что каждый шаг отменяет один малый гауссовский шаг. Быстрые сэмплеры исходят из детерминированного описания той же модели. В непрерывном времени прямой процесс — стохастическое дифференциальное уравнение, и Song et al. (2021) показывают, что ОДУ потока вероятности (probability flow ODE)

$$\begin{aligned} \frac{dz}{dt} &= -\tfrac12\,\beta(t)\,\big[z + \nabla_z \log q_t(z)\big] \\ &= -\tfrac12\,\beta(t)\,\Big[z - \frac{\varepsilon_\theta(z, t)}{\sqrt{1 - \bar\alpha_t}}\Big] \end{aligned}$$

в каждый момент времени имеет то же маргинальное распределение $q_t$, что и процесс зашумления. Здесь $\beta(t)$ — интенсивность шума в непрерывном времени, причём $\beta_t \approx \beta(t)\,\Delta t$ для одного дискретного шага и $d\bar\alpha_t/dt = -\beta(t)\,\bar\alpha_t$, а score заменён отмасштабированным предсказателем шума (заметка о score matching). Интегрирование ОДУ от $z_T \sim \mathcal N(0, I)$ до $t = 0$ отображает каждый латент шума в один сэмпл, и решателю, который делает большие шаги, нужно немного вычислений сети.

DDIM — это метод Эйлера в подходящих координатах. Разделим латент на его коэффициент сигнала и будем измерять время отношением шум/сигнал,

$$\bar z = \frac{z}{\sqrt{\bar\alpha_t}}, \qquad \sigma_t = \sqrt{\frac{1 - \bar\alpha_t}{\bar\alpha_t}},$$

так что $\bar z = z_0 + \sigma_t\,\varepsilon$. Если продифференцировать $\bar z$ с учётом $d\bar\alpha_t/dt = -\beta(t)\,\bar\alpha_t$, члены с $z$ сокращаются, а $d\bar z/dt$ и $d\sigma_t/dt$ содержат один и тот же множитель $\beta(t)/\big(2\sqrt{\bar\alpha_t(1 - \bar\alpha_t)}\big)$. ОДУ превращается в $d\bar z/d\sigma = \varepsilon_\theta$ (Song, Meng and Ermon, 2021, §4.3, формула 14) с точным решением от $\sigma_t$ к более раннему, меньшему $\sigma_s$

$$\bar z_s = \bar z_t + \int_{\sigma_t}^{\sigma_s} \varepsilon_\theta\, d\sigma .$$

Метод Эйлера держит $\varepsilon_\theta$ на всём шаге равным значению в $\sigma_t$. Умножение обратно на $\sqrt{\bar\alpha_s}$ даёт обновление DDIM (их формула 12 без добавленного шума):

$$\begin{gathered} z_s = \sqrt{\bar\alpha_s}\;\hat z_0 + \sqrt{1 - \bar\alpha_s}\;\varepsilon_\theta(z_t, t), \\ \hat z_0 = \frac{z_t - \sqrt{1 - \bar\alpha_t}\;\varepsilon_\theta(z_t, t)}{\sqrt{\bar\alpha_t}} . \end{gathered}$$

Предсказываем чистый латент, затем снова зашумляем его до уровня шага $s$ тем же предсказанным шумом. Шагом $s$ может быть любой более ранний шаг, поэтому расписание из 50 шагов просто проходит каждый двадцатый $t$. Сэмплер Эйлера в диффузионных библиотеках, построенный по Karras et al. (2022), делает то же обновление со своим выбором уровней шума; его вариант «ancestral» добавляет новый шум после каждого шага. DDIM детерминирован и отображает каждый латент шума в одно изображение. Если выполнять его обновление в обратную сторону, от изображения к шуму, получается приближённое обращение (inversion): идеальное ОДУ можно интегрировать в обе стороны, но каждый шаг Эйлера вычисляет $\varepsilon_\theta$ в начале шага, поэтому обратный проход не отменяет прямой в точности. Ошибка уменьшается с числом шагов и растёт с ошибкой модели и с guidance.

Разобранный пример. Одномерные данные $\mathcal N(0, 0.5^2)$, точный предсказатель шума, линейное расписание DDPM, $z_T$ из его точного распределения и шаги DDIM, равномерно расставленные по $t$. У сэмплов должно быть стандартное отклонение $0.5$. С 1 шагом оно равно $0.002$, с 10 шагами — $0.370$, с 50 — $0.471$, с 1000 — $0.4985$. Один шаг из чистого шума возвращает $\hat z_0$ — апостериорное среднее $\mathbb E[z_0 \mid z_T]$, близкое к среднему всех данных; слишком малое число шагов первого порядка стягивает сэмплы к этому среднему. Та же постановка показывает, что обращение приближённое даже с точным предсказателем шума: если обратить точку $0.8$ шагами DDIM и сгенерировать обратно, получится $0.42$ при 10 шагах, $0.71$ при 50 и $0.80$ при 1000.

DPM-Solver: точно проинтегрировать известную часть. В переменной $\lambda = \log\big(\sqrt{\bar\alpha}/\sqrt{1 - \bar\alpha}\big) = -\log\sigma$, равной половине логарифма отношения сигнал/шум, то же точное решение записывается как $\bar z_s = \bar z_t - \int_{\lambda_t}^{\lambda_s} e^{-\lambda}\,\hat\varepsilon_\theta(\lambda)\,d\lambda$ (Lu et al., 2022a, формула 3.4). DPM-Solver раскладывает $\hat\varepsilon_\theta$ в ряд Тейлора по $\lambda$ в начале каждого шага и интегрирует экспоненциальный вес точно. Его версия первого порядка — DDIM (их §4.1); версии второго и третьего порядка тратят два или три вычисления сети на шаг, но им нужно гораздо меньше шагов. DPM-Solver++ (Lu et al., 2022b) применяет ту же идею к предсказанному чистому латенту $\hat z_0$ вместо шума и использует многошаговое обновление второго порядка, которое повторно использует вычисление сети с предыдущего шага. Более ранние решатели высокого порядка теряли устойчивость при больших масштабах guidance, типичных для моделей «текст в изображение», и работали даже медленнее DDIM; многошаговая форма уменьшает эффективный размер шага и сохраняет устойчивость.

Сколько шагов. Числа зависят от guidance. Без guidance DPM-Solver даёт качественные сэмплы за 10–20 вычислений сети, с FID 4.70 при 10 и 2.87 при 20 на CIFAR-10 (Lu et al., 2022a). С guidance, как обнаружили Lu et al. (2022b), DDIM обычно нужно 100–250 шагов, чтобы сойтись, а DPM-Solver++ даёт качественные сэмплы за 15–20 шагов — как для моделей в пространстве пикселей, так и для латентных. На Stable Diffusion с масштабом guidance 7.5 DPM-Solver++ за 15–20 шагов достигает той ошибки в латентном пространстве, которую имеет стандартный 50-шаговый сэмплер (PNDM); в том же тесте все решатели уже при 10 шагах давали FID около 15–16, потому что декодер превращает не вполне сошедшийся латент в хорошее изображение (их §7.2). Сеть не меняется; меняется только правило обновления между её вычислениями, поэтому диффузионные библиотеки позволяют заменить сэмплер (шедулер, scheduler) после обучения.

Редактирование той же моделью#

• Image-to-image (SDEdit, Meng et al., 2022). Закодировать существующее изображение, зашумить его до промежуточного шага, $z_t = \sqrt{\bar\alpha_t}\, z_0 + \sqrt{1 - \bar\alpha_t}\,\varepsilon$, и пройти оставшиеся шаги очистки с новым запросом. Сила (strength) $\lambda \in [0, 1]$ выбирает шаг: при 40 шагах сэмплирования и $\lambda = 0.6$ проходятся последние 24. Малая сила сохраняет композицию; сила 1 игнорирует вход.
• Инпейнтинг (inpainting). Чтобы изменить только область под маской, на каждом шаге латент вне маски заменяется исходным латентом, зашумлённым до того же шага, и модели следует только часть под маской: $z_{t-1} \leftarrow (1 - m) \odot z^{\text{orig}}_{t-1} + m \odot z^*_{t-1}$, где $m$ — маска, уменьшенная до сетки латента (1 там, где изображение может меняться), $z^{\text{orig}}_{t-1} = \sqrt{\bar\alpha_{t-1}}\, z_0 + \sqrt{1 - \bar\alpha_{t-1}}\,\varepsilon$, а $z^*_{t-1}$ — обновление сэмплера. При $f = 8$ маска применяется к блокам $8 \times 8$ пикселей, поэтому её граница не воспроизводится точно, а сглаживается декодером. Специальные модели инпейнтинга вместо этого получают маску и замаскированное изображение как дополнительные входные каналы и обучены под эту задачу.
• LoRA. Дообучить слои внимания низкоранговыми обновлениями $W + \frac{\alpha}{r} B A$ (заметка о PEFT), чтобы научить стилю или объекту по небольшому набору данных; обновление можно влить в веса для инференса. Для матрицы весов $d \times k$ обучается $r(d + k)$ чисел вместо $dk$: при $d = k = 1280$ это $0.6\%$ слоя для $r = 4$ и $5\%$ для $r = 32$.
• Textual inversion (Gal et al., 2023). Заморозить всё и учить только эмбеддинг $v$ нового токена, например <S*>, минимизируя функцию потерь диффузии на трёх–пяти изображениях понятия, $v^* = \arg\min_v \mathbb E_{z_0, y, \varepsilon, t}\, \lVert \varepsilon - \varepsilon_\theta(z_t, t, \tau(y_v))\rVert^2$ (их формула 2), где $y_v$ — шаблонный запрос вроде «a photo of <S*>», в котором вместо эмбеддинга токена стоит $v$. Затем токен можно использовать в любом запросе.

Что изменилось#

	Диффузия в пикселях	Латентная диффузия
Пространство диффузии	пиксели, $512 \cdot 512 \cdot 3$	латент, $64 \cdot 64 \cdot 4$
Кто убирает незаметные детали	диффузионная модель, медленно	автоэнкодер, один раз
Внимание	только на грубых разрешениях	посильно по всей сетке латента
Обусловливание	возможно, но дорого	перекрёстное внимание к текстовому энкодеру
Число шагов (задаёт сэмплер, а не пространство)	те же сэмплеры: около 1000 у DDPM, около 50 с DDIM на практике (100–250 до сходимости с guidance), 15–20 с DPM-Solver++	так же
Цена одного шага	проход U-Net по $512 \cdot 512 \cdot 3$ числам, дважды с guidance	проход по $64 \cdot 64 \cdot 4$ числам, дважды с guidance, плюс один проход декодера на изображение
Предел детализации	сеть	декодер автоэнкодера

Ограничения#

• Декодер ограничивает детали. Мелкий текст, лица в малом масштабе и точные текстуры зависят от того, что может восстановить автоэнкодер; диффузионная модель не может добавить то, чего не выражает $\mathcal D$.
• Guidance — компромисс. Большое $s$ улучшает следование запросу и типичность ценой разнообразия, а начиная с какого-то значения — и качества изображения.
• Текстовый энкодер ограничивает понимание. Замороженный энкодер типа CLIP на 77 токенов плохо справляется с подсчётом, пространственными отношениями и длинными запросами.
• По-прежнему итеративно. Остаются десятки вычислений сети на изображение, вдвое больше с guidance, а слишком малое число шагов сэмплера первого порядка стягивает сэмплы к их среднему.
• Память. Внимание по сетке латента требует памяти, квадратичной по числу позиций; вычисление по частям меняет скорость на память.
• Данные. Модели обучаются на больших собранных из интернета наборах пар изображение–текст, со всеми вопросами согласия, авторских прав и смещений, которые к ним прилагаются.

Итоги#

• Автоэнкодер один раз убирает перцептивные детали; диффузия идёт в его латенте, который для Stable Diffusion при $512 \times 512$ в 48 раз меньше изображения.
• Автоэнкодер обучается с функциями потерь восстановления, перцептивной и состязательной по фрагментам и слабой регуляризацией KL или VQ; $f$ от 4 до 16 балансирует скорость и точность.
• Текст входит в U-Net через перекрёстное внимание: запросы — из латента, ключи и значения — из текстового энкодера. Веса отдельных токенов сдвигают их векторы дальше от векторов пустого запроса или ближе к ним.
• Classifier-free guidance экстраполирует от безусловного предсказания к условному. На каждом уровне шума это score плотности $q_t^{1-s}\, q_t(\cdot \mid y)^s$, но сэмплы в общем случае не следуют $p^{1-s}\, p(\cdot \mid y)^s$, а сэмплирование DDPM и DDIM приходит к разным распределениям; оба сужают распределение к запросу.
• Сэмплеры интегрируют ОДУ потока вероятности той же модели: DDIM — метод Эйлера в координатах $(\bar z, \sigma)$, DPM-Solver точно интегрирует линейную часть и раскладывает сеть по $\lambda$; с guidance DPM-Solver++ нужно 15–20 шагов. Image-to-image, инпейнтинг, LoRA и textual inversion используют модель для редактирования.

Ноутбук#

Ноутбук о продвинутой диффузии из репозитория HSE-LAMBDA Deep Generative Models использует библиотеку Hugging Face Diffusers (номера ячеек считают все ячейки, включая текстовые, начиная с 1). Сохранённых выходов ячеек в нём нет, поэтому он описывает процедуру, а не результаты.

• Ячейки 5–9: напоминание о DDPM и конвейере Stable Diffusion, затем генерация по тексту моделью stabilityai/stable-diffusion-2-1-base во float32, 25 шагов и масштаб guidance 7.5. enable_attention_slicing() вычисляет внимание по частям, чтобы снизить пиковое потребление памяти, как описано выше. Текст ячейки 6 даёт размер текстового эмбеддинга $77 \times 768$ — размер для Stable Diffusion 1.x; у используемой здесь версии 2.1 энкодер OpenCLIP размерности 1024.
• Ячейки 10–12: шедулеры. ОДУ в тексте оставляет только слагаемое с шумом: у ОДУ потока вероятности для процесса, сохраняющего дисперсию, есть ещё слагаемое, пропорциональное $z_t$, и множитель $\frac12$. Шаг Эйлера записан с добавленным шумом, тогда как EulerDiscreteScheduler по умолчанию детерминирован (стохастический вариант — EulerAncestralDiscreteScheduler), а про DDIM сказано, что он позволяет параллельное сэмплирование, чего он не делает; он позволяет меньше шагов и приближённое обращение. Текст и README называют 10–15 шагов для DPM-Solver++ и 20–30 для сэмплера Эйлера. Статья о DPM-Solver++ сообщает о 15–20 шагах для сэмплирования с guidance, а именно так работает Stable Diffusion; около 10 шагов — это цифра для DPM-Solver без guidance; для сэмплера Эйлера статьи числа шагов не дают. README ссылается на статью о DPM-Solver, процитированную выше. В ячейке 11 swap_scheduler заменяет шедулер у того же объекта конвейера и возвращает его, так что pipe_euler и pipe_dpm — один конвейер: оба изображения в сравнении получены с DPM-Solver++.
• Ячейки 13–16: пакетная генерация трёх запросов и взвешивание запроса с Compel: ball-- (вес $0.81$), ball++ ($1.21$) и ball++ вместе с forest--- ($0.729$). Текст описывает синтаксис (token:weight) другого инструмента и нормированную взвешенную сумму эмбеддингов токенов; синтаксис Compel — тот, что используется в коде, а его взвешивание действует на выход текстового энкодера.
• Ячейки 17–20: image-to-image для картинки $768 \times 768$ с силой 0.6 (24 из 40 шагов) и 1.0.
• Ячейки 21–22: инпейнтинг тем же базовым чекпоинтом, 50 шагов. У его U-Net 4 входных канала, поэтому конвейер использует замену латента, записанную выше, а не модели инпейнтинга, получающие маску на вход.
• Ячейки 23–24: LoRA в стиле пиксель-арта, загруженная в Stable Diffusion XL и влитая с масштабом 0.8. В тексте сказано, что LoRA обучает около 0.2% параметров SD-XL. У загружаемого здесь адаптера ранг 32 и 85.1 млн параметров, все в U-Net (по заголовку файла весов), — около 3.3% от 2.6 млрд параметров U-Net SD-XL (Podell et al., 2023); 0.2% соответствовали бы рангу 2. Доля зависит от ранга и от того, какие слои адаптируются.
• Ячейки 25–26: textual inversion с токеном понятия из sd-concepts-library, загруженным в runwayml/stable-diffusion-v1-5. Под этим именем репозиторий больше не публикуется; те же веса лежат в stable-diffusion-v1-5/stable-diffusion-v1-5, и API Hub перенаправляет туда старый идентификатор. Текст даёт целевую функцию textual inversion, записанную выше.

Дальше#

Текст, маски и сила image-to-image — грубые средства управления: они говорят, что должно появиться и примерно где, но не то, куда именно должна попасть данная точка изображения. Следующая заметка, Редактирование изображений по точкам: DragGAN и DragDiffusion, ставит задачу точных геометрических правок вида «перемести эту точку туда»: сначала через оптимизацию латентного кода GAN (DragGAN), затем через оптимизацию зашумлённого латента диффузионной модели (DragDiffusion).

Литература#

• R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR, 2022.
• J. Ho, T. Salimans. Classifier-Free Diffusion Guidance. NeurIPS Workshop on Deep Generative Models, 2021.
• A. Bradley, P. Nakkiran. Classifier-Free Guidance is a Predictor-Corrector. arXiv:2408.09000, 2024.
• J. Song, C. Meng, S. Ermon. Denoising Diffusion Implicit Models. ICLR, 2021.
• C. Lu, Y. Zhou, F. Bao, J. Chen, C. Li, J. Zhu. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps. NeurIPS, 2022 (цитируется как Lu et al., 2022a). Формула 3.4 (точное решение), §4.1 (DDIM как DPM-Solver-1).
• C. Lu, Y. Zhou, F. Bao, J. Chen, C. Li, J. Zhu. DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models. arXiv:2211.01095, 2022 (цитируется как Lu et al., 2022b). §1 и §7.2 (число шагов с guidance, Stable Diffusion).
• T. Karras, M. Aittala, T. Aila, S. Laine. Elucidating the Design Space of Diffusion-Based Generative Models. NeurIPS, 2022.
• Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon, B. Poole. Score-Based Generative Modeling through Stochastic Differential Equations. ICLR, 2021.
• C. Meng, Y. He, Y. Song, J. Song, J. Wu, J.-Y. Zhu, S. Ermon. SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations. ICLR, 2022.
• R. Gal, Y. Alaluf, Y. Atzmon, O. Patashnik, A. H. Bermano, G. Chechik, D. Cohen-Or. An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion. ICLR, 2023.
• E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, W. Chen. LoRA: Low-Rank Adaptation of Large Language Models. ICLR, 2022.
• D. Podell, Z. English, K. Lacey, A. Blattmann, T. Dockhorn, J. Müller, J. Penna, R. Rombach. SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis. arXiv:2307.01952, 2023. §2.1 (2.6 млрд параметров в U-Net).
• D. Stewart. Compel: взвешивание запросов для Diffusers. Программная библиотека; синтаксис — в doc/syntax.md, взвешивание — в src/compel/embeddings_provider.py.