StyleGAN: генератор на основе стилей

Предыдущая заметка закончилась GAN, которые дают убедительные лица в разрешении $1024 \times 1024$ и чёткие сэмплы ImageNet. Качество пришло с масштабом: наращивание сетей во время обучения, внимание, бо́льшие батчи и модели. Управляемость вместе с ним не пришла. Кроме метки класса, единственный вход генератора — один вектор шума $z$; ничто не говорит, что означает каждое направление в $z$, и движение $z$ в любом направлении меняет сразу много свойств изображения. В этой заметке разобраны два ответа. InfoGAN (Chen et al., 2016) сохраняет генератор и меняет целевую функцию: часть входа должна читаться обратно по изображению. StyleGAN (Karras, Laine and Aila, 2019) сохраняет целевую функцию и меняет генератор: код больше не подаётся на вход, а задаёт «стиль» каждого слоя, а за случайные детали отвечает отдельный шумовой вход. Две следующие работы исправляют то, что StyleGAN сломал: StyleGAN2 (Karras et al., 2020) убирает его артефакты-пятна и сглаживает латентное пространство, а StyleGAN3 (Karras et al., 2021) не даёт мелким деталям прилипать к пиксельной сетке.

Обозначения. $P$ — распределение данных, $D$ — дискриминатор, как в заметке о GAN. Входной латентный вектор — $z \in \mathcal Z = \mathbb R^{512}$, $z \sim \mathcal N(0, I)$. В StyleGAN отображающая сеть (mapping network) $f: \mathcal Z \to \mathcal W$ даёт промежуточный латентный вектор $w = f(z) \in \mathcal W = \mathbb R^{512}$, синтезирующая сеть (synthesis network) $g$ превращает $w$ в изображение, и генератор равен $G = g \circ f$. Обучаемое аффинное отображение $A_\ell$ превращает $w$ в стиль (style) $y_\ell = (y_{s,\ell}, y_{b,\ell})$ слоя $\ell$: один масштаб и одно смещение на канал. В части об InfoGAN $c$ — латентный код (latent code), который подаётся генератору рядом с $z$, $x = G(z, c)$, а $q_\phi(c \mid x)$ — вспомогательная сеть, угадывающая $c$ по $x$ (в статье она называется $Q$; в остальном курсе $Q$ — распределение модели). $H$ — энтропия, $D_{\mathrm{KL}}$ — KL-дивергенция (KL divergence), в натах (nats).

Почему z запутан#

Возьмём генератор лиц и будем двигать $z$ вдоль одной координаты. Обученный GAN может менять несколько вещей сразу: голова поворачивается, но лицо при этом становится лицом другого человека, волосы меняют длину, а освещение смещается. Нам хотелось бы такое представление (representation), в котором одно направление меняет один фактор изменчивости (factor of variation), например позу, и не трогает остальные, например личность: распутанное (disentangled) представление в смысле заметки о β-VAE. Целевая функция GAN этого не требует. Дискриминатор оценивает изображения целиком; он поощряет реалистичные выходы, а не аккуратное использование $z$.

Есть и структурная причина, которую статья о StyleGAN формулирует явно (Karras, Laine and Aila, 2019, раздел 4 и рисунок 6). Генератор отображает фиксированное распределение, $\mathcal N(0, I)$, в данные. Сэмплируется каждая область $\mathcal Z$, поэтому каждая область должна давать реалистичное изображение, причём с частотами обучающего набора. Пусть два фактора, мужественность и длина волос, закодированы на двух осях, а в обучающем наборе нет длинноволосых мужчин. Отображение, сохраняющее оси прямыми, сэмплировало бы этот отсутствующий угол. Чтобы избежать этого, отображение из $\mathcal Z$ в факторы изображения должно искривиться так, чтобы у запрещённой комбинации не было прообраза, а искривлённое отображение означает, что движение вдоль одной оси $\mathcal Z$ меняет оба фактора. На реальных наборах данных, где факторы коррелированы, некоторая запутанность $\mathcal Z$ неизбежна.

InfoGAN: код, который должно раскрыть изображение#

InfoGAN разделяет вход на несжимаемый шум $z$ и код $c = (c_1, \dots, c_M)$ с факторизованным априорным распределением $p(c) = \prod_i p(c_i)$ и подаёт оба в генератор, $x = G(z, c)$ (Chen et al., 2016, раздел 4). Обычный GAN мог бы игнорировать $c$: решение $p_G(x \mid c) = p_G(x)$ устраивает дискриминатор ничуть не хуже. Поэтому InfoGAN требует высокой взаимной информации (mutual information) между кодом и изображением,

$$\begin{gathered} I(c; x) = H(c) - H(c \mid x),\\ H(c \mid x) = -\mathbb E_{(c, x)} \log p(c \mid x), \end{gathered}$$

то есть уменьшения неопределённости относительно $c$ после того, как изображение увидено. $I = 0$, когда $x$ не зависит от $c$; она максимальна, когда $c$ можно точно прочитать по $x$. Целевая функция добавляет её к игре GAN с весом $\lambda$,

$$\min_G \max_D \; V(D, G) - \lambda\, I\big(c; G(z, c)\big),$$

где $V$ — функция ценности (value function) GAN.

Нижняя оценка взаимной информации#

Апостериорное распределение $p(c \mid x)$ генератора неизвестно, поэтому $I$ вычислить нельзя. InfoGAN оценивает её снизу с помощью вспомогательного распределения $q_\phi(c \mid x)$ (раздел 5). Прибавим и вычтем $\log q_\phi$ внутри условной энтропии:

$$\begin{aligned} -H(c \mid x) &= \mathbb E_{x}\, \mathbb E_{c \sim p(c \mid x)} \log p(c \mid x)\\ &= \mathbb E_{x}\, \mathbb E_{c \sim p(c \mid x)} \log q_\phi(c \mid x)\\ &\quad + \mathbb E_x\, D_{\mathrm{KL}}\big(p(\cdot \mid x)\,\|\,q_\phi(\cdot \mid x)\big)\\ &\ge \mathbb E_{x}\, \mathbb E_{c \sim p(c \mid x)} \log q_\phi(c \mid x), \end{aligned}$$

поскольку KL-дивергенция неотрицательна. Оставшееся математическое ожидание берётся по парам $(c, x)$ из совместного распределения генератора. Это совместное распределение можно сэмплировать в прямом направлении, $c \sim p(c)$, $z \sim p(z)$, $x = G(z, c)$, ни разу не сэмплируя апостериорное распределение (лемма 5.1 статьи формулирует эту смену порядка). Прибавив $H(c)$, получаем вариационную нижнюю оценку

$$\begin{aligned} \mathcal L_I(G, q_\phi) &= \mathbb E_{c \sim p(c),\, z \sim p(z)} \log q_\phi\big(c \mid G(z, c)\big) + H(c)\\ &\le I\big(c; G(z, c)\big), \end{aligned}$$

которая точна, когда $q_\phi$ совпадает с апостериорным распределением. Априорное распределение $p(c)$ фиксировано, поэтому $H(c)$ — константа. Игра InfoGAN имеет вид

$$\min_{G,\, q_\phi} \max_D \; V(D, G) - \lambda\, \mathcal L_I(G, q_\phi) .$$

Максимизация $\mathcal L_I$ по $q_\phi$ подгоняет угадывающую сеть к текущему генератору; максимизация по $G$ заставляет генератор делать $c$ легко угадываемым. Это тот же приём, что и в ELBO: KL-дивергенция относительно приближённого апостериорного распределения отбрасывается, потому что она неотрицательна. Там он даёт оценку правдоподобия, здесь — информации.

На практике $q_\phi$ делит все свёрточные слои с дискриминатором и добавляет один полносвязный выходной слой, так что дополнительные затраты по сравнению с GAN невелики (раздел 6). Для категориального кода выходной слой — softmax, и $-\log q_\phi$ — кросс-энтропия. Для непрерывного кода выходной слой выдаёт среднее $\mu(x)$ и стандартное отклонение $\sigma(x)$ факторизованного гауссовского распределения, и

$$\log q_\phi(c \mid x) = -\frac{(c - \mu(x))^2}{2\sigma(x)^2} - \ln \sigma(x) - \tfrac12 \ln 2\pi :$$

квадрат ошибки между кодом и его оценкой, взвешенный уверенностью сети. Для дискретных кодов вес равен $\lambda = 1$; для непрерывных берут меньшее $\lambda$, поскольку тогда в слагаемое входит дифференциальная энтропия и его масштаб отличается от масштаба целевой функции GAN (раздел 6).

Разобранный пример (игрушечные числа). У равномерного категориального кода с $K = 10$ значениями $H(c) = \ln 10 \approx 2.303$ ната. Поскольку для дискретного распределения $\log q_\phi \le 0$, имеем $\mathcal L_I \le \ln 10$, и равенство достигается, только если $q_\phi$ ставит вероятность 1 на истинное $c$ для каждого сгенерированного изображения: тогда код полностью восстанавливается, и оценка равна наибольшей возможной взаимной информации. Для непрерывного кода $c = 0.6$ и предсказания $\mu = 0.5$, $\sigma = 0.2$ слагаемое равно $-0.1250 + 1.6094 - 0.9189 = 0.5655$. Оно положительно, потому что плотность может превышать 1; значение имеют только разности таких слагаемых.

Что нашёл InfoGAN#

На MNIST код состоит из одной категориальной переменной с 10 значениями и двух непрерывных, равномерных на $[-1, 1]$, рядом с 62 шумовыми переменными (раздел 7 и приложение C.1). Нижняя оценка быстро достигает $H(c) \approx 2.30$, тогда как обычный GAN, обученный с той же вспомогательной сетью, почти не сохраняет в изображениях информации о $c$ (раздел 7.1, рисунок 1). Без каких-либо меток категориальный код сортирует цифры по классам: если сопоставить его значения типам цифр, он классифицирует MNIST с долей ошибок 5%. Один непрерывный код управляет поворотом цифры, другой — её шириной, и генератор подстраивает толщину и стиль штриха, чтобы результат выглядел естественно; проход по кодам от $-2$ до $2$, за пределами диапазона обучения, по-прежнему даёт осмысленные цифры (раздел 7.2, рисунок 2). На трёхмерных отрендеренных лицах непрерывные коды находят азимут, угол возвышения, освещение и ширину лица; на стульях — поворот и ширину; на SVHN — освещение и соседние цифры рядом с центральной; на CelebA, с десятью категориальными кодами по десять значений, — позу, очки, причёску и эмоцию (рисунки 3–6).

Где InfoGAN останавливается#

• Коды выбираются вручную. Сколько кодов, какого типа и с каким априорным распределением — решение, принимаемое до обучения: один код на 10 значений и два непрерывных для MNIST, пять непрерывных кодов для трёхмерных лиц. Каким фактором в итоге управляет каждый код, не выбирается; для трёхмерных лиц и стульев статья показывает для каждого фактора тот из пяти запусков, который больше всего похож на прежние результаты с учителем (рисунки 3–4).
• Взаимная информация требует меньше, чем распутанность. Она говорит, что $c$ можно прочитать по изображению. Она не говорит, что каждое $c_i$ управляет одним фактором и что этого фактора нет в $z$.
• Остальная часть входа остаётся такой же запутанной, как раньше. Бо́льшая часть входа генератора — это $z$, и InfoGAN ничего о нём не говорит. В экспериментах используются изображения от $28 \times 28$ до $64 \times 64$ пикселей.

StyleGAN идёт другим путём: вместо регуляризатора, который требует от фиксированного генератора хорошего поведения, он меняет то, где и как код входит в сеть.

StyleGAN: генератор на основе стилей#

Традиционный генератор, например генератор Progressive GAN, пропускает латентный код только через входной слой. StyleGAN полностью убирает этот входной слой (Karras, Laine and Aila, 2019, раздел 2 и рисунок 1). Код проходит через отображающую сеть в промежуточный латентный вектор $w$, $w$ задаёт стиль каждого свёрточного слоя, синтез начинается с константы, а попиксельный шум даёт случайные детали. Дискриминатор и функция потерь не меняются; все изменения сделаны в генераторе.

Рисунок

Генератор StyleGAN: отображающая сеть, стили и шум

1. Отображающая сеть. Нормированный $z$ проходит через $f$, MLP из 8 слоёв, и становится $w \in \mathcal W$; у обоих по 512 измерений.
2. Константный вход. Синтез начинается с обучаемого тензора $4 \times 4 \times 512$.
3. Стили. Обучаемое аффинное отображение $A_\ell$ своё для каждого слоя превращает $w$ в стиль $y_\ell$, который входит через AdaIN после каждой свёртки.
4. Шум. Обучаемый масштаб $B$ по каналам распространяет одноканальное изображение гауссовского шума на все каналы; шум прибавляется после каждой свёртки.
5. Блоки. Два слоя на каждое разрешение от $4^2$ до $1024^2$, всего 18. Блок повышает разрешение, а затем дважды применяет свёртку, прибавляет шум и применяет AdaIN; блок $4 \times 4$ пропускает повышение разрешения и первую свёртку и действует прямо на константу. Свёртка $1 \times 1$ превращает последнюю карту признаков в RGB. У генератора 26.2 млн параметров против 23.1 млн у традиционного.

Отображающая сеть и пространство W#

Рассуждение первого раздела применимо к $\mathcal Z$, потому что у $\mathcal Z$ фиксированное распределение, которое должно соответствовать данным. У $\mathcal W$ такого ограничения нет. Его плотность сэмплирования — то, во что $f$ превращает $\mathcal N(0, I)$, поэтому $f$ может взять на себя искривление, которого требуют данные, и оставить $\mathcal W$ ближе к прямым осям: в примере выше отсутствующая комбинация может быть просто областью $\mathcal W$, куда $f$ никогда не попадает. Авторы утверждают, что обучение подталкивает именно в эту сторону, поскольку синтезирующей сети должно быть проще генерировать реалистичные изображения из распутанного представления, чем из запутанного (раздел 4). Это гипотеза, и ниже она проверяется двумя метриками.

Отображающая сеть обучается с шагом обучения в 100 раз меньше, чем остальная сеть, потому что более глубокие отображающие сети были неустойчивы при большом шаге обучения (приложение C). Её глубина важна. На FFHQ генератор на основе стилей без отображающей сети, управляемый прямо через $z$, достигает FID 5.06; с 8-слойной сетью — 4.40. Добавление 8-слойной отображающей сети перед традиционным генератором тоже улучшает его FID, с 5.25 до 4.87, и делает промежуточное пространство гораздо лучше разделимым, чем его входное пространство (таблица 4; метрика разделимости определена ниже).

Обучаемая константа вместо входного слоя#

После добавления отображающей сети и AdaIN сети уже не было пользы от получения кода на первом слое. Поэтому StyleGAN начинает синтез с обучаемой константы $4 \times 4 \times 512$, инициализированной единицами (раздел 2.1 и приложение C), и изображение зависит от $w$ только через стили. Этот шаг оставил FID на FFHQ почти прежним и улучшил его на CelebA-HQ (конфигурации C и D в таблице ниже), а роль стилей стала чистой: всё содержимое изображения задают они и шум.

Стили через AdaIN#

Каждый стиль $y = (y_s, y_b) = A_\ell(w)$ управляет слоем через адаптивную нормализацию по экземпляру (adaptive instance normalization, AdaIN), которая для канала $i$ карты признаков $x$ определяется так (раздел 2, формула 1):

$$\mathrm{AdaIN}(x_i, y) = y_{s,i}\,\frac{x_i - \mu(x_i)}{\sigma(x_i)} + y_{b,i},$$

где $\mu(x_i)$ и $\sigma(x_i)$ — среднее и стандартное отклонение канала $i$ по его пространственным позициям, как в нормализации по экземпляру. AdaIN с разобранным примером описана в заметке о StarGAN, где StarGAN v2 вводит свой код стиля тем же способом. В стиле по два числа на канал, поэтому его размерность вдвое больше числа карт признаков слоя, а смещения $y_s$ инициализируются единицей (приложение C).

Почему стили действуют локально, следует из нормализации. AdaIN сначала приводит каждый канал к нулевому среднему и единичной дисперсии и только потом применяет новый масштаб и сдвиг. Поэтому статистики, которые задаёт стиль, не переживают следующую AdaIN: та снова их нормализует. Каждый стиль управляет одной свёрткой, пока его не перекроет следующая AdaIN (раздел 3). Кроме того, стиль пространственно инвариантен: один масштаб и одно смещение на всю карту признаков. Он меняет то, что следующая свёртка подчёркивает, сразу во всех позициях, и это подходит для глобальных свойств: позы, освещения и общего вида.

Шум для случайных деталей#

Многое в портрете случайно, и это безобидно: точное расположение волос, щетины, веснушек и пор можно перерисовать, не меняя того, как мы воспринимаем лицо. Традиционный генератор должен получать такую изменчивость из своего входа, что расходует ёмкость сети и часто проявляется в виде повторяющихся узоров. StyleGAN даёт каждому слою свежее одноканальное изображение некоррелированного гауссовского шума, масштабированное по каналам обучаемыми множителями ($B$ на рисунке) и прибавляемое после свёртки, перед нелинейностью (раздел 2 и рисунок 1).

Сеть сама, без подсказок, учится использовать два входа для разных целей (разделы 3.2–3.3). Если перерисовать шум при фиксированном $w$, личность и поза не меняются, а сдвигаются волосы, части силуэта и фон; шум только в грубых слоях ($4^2$ до $32^2$) даёт крупные локоны, шум только в тонких слоях ($64^2$ до $1024^2$) — мелкие завитки и поры кожи, а без шума изображение выглядит невыразительным, «живописным» (рисунки 4–5). Стиль масштабирует карты признаков целиком, поэтому он естественный канал для глобальных решений; шум независим в каждом пикселе, и управление позой через него давало бы пространственно несогласованные изображения, которые наказывает дискриминатор.

Смешивание стилей: грубые, средние и тонкие стили#

Каждый слой получает собственный стиль, поэтому ничто не заставляет все стили происходить из одного и того же $w$. Смешивание стилей (style mixing) пропускает два кода $z_1, z_2$ через отображающую сеть и использует $w_1$ для слоёв до точки переключения, а $w_2$ — после неё. Во время обучения StyleGAN делает это для фиксированной доли изображений, со случайной точкой переключения, в качестве регуляризатора: это не даёт сети предполагать, что соседние стили коррелированы (раздел 3.1). Эффект виден, когда при тестировании смешивают несколько кодов. FID на FFHQ для 1–4 случайных кодов и случайных точек переключения (таблица 2):

Смешивание при обучении	1 код	2 кода	3 кода	4 кода
0% (конфигурация E)	4.42	8.22	12.88	17.41
50%	4.41	6.10	8.71	11.61
90% (конфигурация F)	4.40	5.11	6.88	9.03
100%	4.83	5.17	6.63	8.40

При 90% качество с одним кодом не меняется, а смешивание сеть переносит гораздо лучше. Смешивание двух лиц показывает, чем управляет каждая группа слоёв (рисунок 3):

• грубые стили ($4^2$ до $8^2$): поза, общая причёска, форма лица и очки;
• средние стили ($16^2$ до $32^2$): более мелкие черты лица, причёска, открытые или закрытые глаза;
• тонкие стили ($64^2$ до $1024^2$): в основном цветовая гамма и микроструктура.

Грубые слои определяют компоновку, тонкие — текстуру. Это разделение — свойство обученной сети, а не меток: на спальнях LSUN грубые стили задают точку съёмки, средние — мебель, а тонкие — цвета и материалы (приложение E). Отдельный код для каждого слоя задаёт расширенное пространство $\mathcal W^+$, которое используется для редактирования в заметке о редактировании по точкам.

Усечение в W#

Области с низкой плотностью данных трудно выучить любой генеративной модели, и сэмплирование только из хорошо выученного центра латентного пространства улучшает среднее качество ценой разнообразия. StyleGAN делает это в $\mathcal W$ (приложение B). Вычислим центр масс $\bar w = \mathbb E_{z \sim p(z)} f(z)$ и сдвинем каждый сэмпл к нему:

$$w' = \bar w + \psi\,(w - \bar w), \qquad \psi < 1 .$$

$\psi$ умножает каждое отклонение от $\bar w$: при $\psi = 0.7$ каждый $w$ сохраняет 70% своего расстояния от центра, а квадрат расстояния — 49%. Это сжатие, а не отбраковка. При $\psi = 0$ каждый сэмпл превращается в «среднее лицо» FFHQ, которое выглядит похоже у всех обученных сетей; отрицательное $\psi$ даёт «антилицо», у которого меняются на противоположные ракурс, очки, возраст, окраска, длина волос и часто пол (рисунок 8). Трюк усечения в BigGAN (truncation trick) действует на $z$, и Brock et al. обнаружили, что его выдерживают лишь некоторые сети, даже с ортогональной регуляризацией; усечение в $\mathcal W$ работает надёжно без изменений функции потерь (приложение B). Поскольку у каждого слоя свой стиль, усечение можно применять только к грубым слоям, не трогая мелкие детали: неотобранные сэмплы статьи используют $\psi = 0.7$ для слоёв от $4^2$ до $32^2$ (рисунок 2). Все значения FID вычислены без усечения.

Результаты на FFHQ#

Статья также вводит набор FFHQ (Flickr-Faces-HQ): 70 000 изображений лиц в разрешении $1024 \times 1024$, собранных с Flickr под свободными лицензиями, автоматически выровненных и обрезанных, с гораздо большим разнообразием возраста, этнической принадлежности, фона и аксессуаров, чем в CelebA-HQ (приложение A). FID (меньше — лучше), вычисленный по 50 000 изображений из обучающего набора, указан по наименьшему значению за время обучения (таблица 1):

Конфигурация	CelebA-HQ	FFHQ
A. Базовая модель Progressive GAN	7.79	8.04
B. + билинейная передискретизация, более долгое обучение, настройка	6.11	5.25
C. + отображающая сеть и стили	5.34	4.85
D. + обучаемая константа, без входного слоя	5.07	4.88
E. + шумовые входы	5.06	4.42
F. + регуляризация смешиванием	5.17	4.40

На FFHQ конфигурации B–F используют ненасыщающуюся функцию потерь (non-saturating loss) со штрафом R1 ($\gamma = 10$), а на CelebA-HQ используется WGAN-GP. От улучшенной традиционной базовой модели B к модели на основе стилей E FID снижается на 15.8% на FFHQ и на 17.2% на CelebA-HQ. Обучение заняло около недели на восьми GPU Tesla V100 (приложение C). На LSUN FID составил 2.65 для спален в разрешении $256^2$, 3.27 для автомобилей в разрешении $512 \times 384$ и 8.53 для кошек в разрешении $256^2$ (рисунки 10–12).

Измерение распутанности без энкодера#

Существующие метрики распутанности требуют энкодера из изображений в латентные коды, которого у GAN нет. StyleGAN предлагает две метрики, которым не нужны ни энкодер, ни известные факторы изменчивости (раздел 4).

Длина перцептивного пути#

Если латентное пространство запутано, интерполяция между двумя кодами может порождать признаки, которых нет ни на одном из концов, — признак искривлённого пути в пространстве изображений. Длина перцептивного пути (perceptual path length, PPL) измеряет, насколько меняется изображение при малых шагах интерполяции, с помощью расстояния LPIPS $d$. В $\mathcal Z$ используется slerp, потому что $z$ гауссовский (раздел 4.1, формула 2):

$$\begin{aligned} l_{\mathcal Z} = \mathbb E\Big[\frac{1}{\varepsilon^2}\, d\big(&G(\mathrm{slerp}(z_1, z_2; t)),\\ &G(\mathrm{slerp}(z_1, z_2; t + \varepsilon))\big)\Big], \end{aligned}$$

где $z_1, z_2 \sim p(z)$, $t \sim U(0, 1)$ и $\varepsilon = 10^{-4}$. В $\mathcal W$ векторы не нормированы, поэтому интерполяция линейная (формула 3):

$$\begin{aligned} l_{\mathcal W} = \mathbb E\Big[\frac{1}{\varepsilon^2}\, d\big(&g(\mathrm{lerp}(f(z_1), f(z_2); t)),\\ &g(\mathrm{lerp}(f(z_1), f(z_2); t + \varepsilon))\big)\Big]. \end{aligned}$$

LPIPS — квадрат расстояния, поэтому для гладкого пути $d \approx \varepsilon^2 \times$ (квадрат скорости изображения вдоль пути), и деление на $\varepsilon^2$ оставляет средний квадрат перцептивной скорости. Математическое ожидание оценивается по 100 000 сэмплов, а изображения обрезаются до лица. Короткий путь в $\mathcal W$ может быть несправедлив к $\mathcal Z$: если $\mathcal W$ — выпрямленная версия $\mathcal Z$, прямая между двумя достижимыми точками $\mathcal W$ может проходить через области, которые $f$ никогда не порождает и которые $g$ отрисовывает плохо. Поэтому статья приводит также версию по концам (endpoint), $t \in \{0, 1\}$, которая сравнивает только изображения вблизи кодов, действительно порождаемых $f$.

Линейная разделимость#

Если латентное пространство распутано, бинарный признак, например пол, должен отделяться гиперплоскостью (раздел 4.2). Проверка такова: обучить 40 классификаторов для 40 атрибутов CelebA на CelebA-HQ; сгенерировать 200 000 изображений; классифицировать каждое и оставить более уверенную половину, 100 000 размеченных кодов на атрибут; обучить линейный SVM, предсказывающий метку по коду ($z$ или $w$); вычислить условную энтропию $H(Y \mid X)$ метки классификатора $Y$ при известной стороне гиперплоскости $X$. Метрика равна $\exp\big(\sum_{i=1}^{40} H(Y_i \mid X_i)\big)$. Она равна 1, когда каждый атрибут идеально предсказывается гиперплоскостью, и растёт вместе с информацией, которую гиперплоскости упускают; меньше — лучше.

Обе метрики на FFHQ, меньше — лучше (таблицы 3 и 4):

Генератор	Пространство	PPL, полная	PPL, по концам	Разделимость
традиционный (B)	$\mathcal Z$	412.0	415.3	10.78
на основе стилей, без шума (D)	$\mathcal W$	446.2	376.6	3.61
+ шумовые входы (E)	$\mathcal W$	200.5	160.6	3.54
+ смешивание 90% (F)	$\mathcal W$	234.0	195.9	3.79
традиционный + 8-слойная отображающая сеть	$\mathcal Z$	896.2	902.0	170.29
традиционный + 8-слойная отображающая сеть	$\mathcal W$	324.5	212.2	6.52

$\mathcal W$ неизменно лучше разделимо, чем $\mathcal Z$, и пути в нём короче. Самый наглядный случай — традиционный генератор с отображающей сетью: его промежуточное пространство легко разделить (6.52), а входное пространство становится гораздо хуже (170.29), что подтверждает утверждение о том, что входное пространство GAN может быть сколь угодно запутанным. Регуляризация смешиванием немного ухудшает длину пути и разделимость; авторы предполагают, что из-за неё $\mathcal W$ труднее кодировать факторы, охватывающие несколько масштабов. Они также отмечают, что PPL медленно растёт в конце обучения, тогда как FID продолжает падать (приложение D): качество отчасти куплено запутанностью.

StyleGAN2: устранение артефактов#

На изображениях StyleGAN часто есть характерное пятно, похожее на каплю воды, а подвижные детали, например зубы, иногда остаются на месте. StyleGAN2 связывает первое с AdaIN, а второе — с прогрессивным ростом и добавляет регуляризатор, который делает генератор более гладким (Karras et al., 2020). Весь анализ сосредоточен на $\mathcal W$ — пространстве, которое важно для синтезирующей сети.

Капли и нормализация в AdaIN#

Капля появляется примерно на разрешении $64 \times 64$, присутствует во всех картах признаков, даже когда на итоговом изображении её трудно заметить, и усиливается на более высоких разрешениях (раздел 2, рисунок 1). Гипотеза StyleGAN2: AdaIN нормализует среднее и дисперсию каждой карты признаков отдельно, и это уничтожает любую информацию, которую несут величины признаков относительно друг друга. Генератор проносит эту информацию о силе сигнала мимо нормализации, создавая сильный локализованный выброс, который доминирует в статистиках; с таким выбросом он может масштабировать сигнал в остальных местах как угодно. Гипотезу подтверждает эксперимент: если убрать шаг нормализации, капли полностью исчезают. В редких случаях (возможно, 0.1% изображений), когда капли нет, изображение сильно искажено (рисунок 15).

Разобранный пример (игрушечные числа). Карта признаков из 16 позиций несёт узор $\pm a$ на 15 из них (8 положительных, 7 отрицательных) и выброс $S$ на 16-й. После нормализации по экземпляру амплитуда узора равна 1.035 при $S = 0$, каково бы ни было $a$: нормализация отбрасывает масштаб, выбранный предыдущими слоями. С выбросом она зависит от отношения $S/a$; при $a = 1$: 0.737 при $S = 4$, 0.386 при $S = 10$ и 0.103 при $S = 40$, а сам выброс становится большим значением (3.85 при $S = 40$) в своей позиции. Выброс работает как регулятор громкости, который нормализация не может убрать.

Сначала StyleGAN2 упрощает блок (раздел 2.1, рисунок 2). AdaIN разделяется на две части: нормализацию и модуляцию. Смещение и шум выносятся из той части сети, где действует стиль, чтобы их эффект больше не масштабировался вместе со стилем; затем нормализация и модуляция действуют только на стандартное отклонение, без среднего; наконец, смещение, шум и нормализация константного входа удаляются. Остаётся блок «модуляция, свёртка, нормализация», и теперь нормализацию можно заменить.

Модуляция и демодуляция весов#

Обозначим через $w_{ijk}$ вес свёртки от входного канала $i$ к выходному каналу $j$ в позиции ядра $k$, а через $s_i$ — масштаб стиля для входного канала $i$ (в этом разделе $w$ с тремя индексами — вес, а не латентный вектор). Вывод занимает три шага (раздел 2.2, формулы 1–3).

Шаг 1: модуляция как изменение весов. Умножить входной канал $i$ на $s_i$ и затем применить свёртку — то же самое, что применить свёртку с масштабированными весами, потому что свёртка линейна по каждому входному каналу:

$$w'_{ijk} = s_i\, w_{ijk} .$$

Шаг 2: масштаб выхода. Предположим, что входные активации — независимые случайные величины с единичным стандартным отклонением. Выход $j$ в одной позиции равен $\sum_{i,k} w'_{ijk}\, x_{i,k}$ — сумме независимых слагаемых, а дисперсия такой суммы равна сумме дисперсий, $\sum_{i,k} w'^2_{ijk} \cdot 1$. Её стандартное отклонение — норма $L_2$ весов выходного канала $j$:

$$\sigma_j = \sqrt{\textstyle\sum_{i,k} w'^2_{ijk}} .$$

Шаг 3: демодуляция. Нормализация по экземпляру нужна для того, чтобы убрать влияние $s$ из статистик выхода. Деление выхода $j$ на $\sigma_j$ делает это напрямую, и это деление тоже можно внести в веса, с малым $\epsilon$ для численной устойчивости:

$$w''_{ijk} = \frac{w'_{ijk}}{\sqrt{\sum_{i,k} w'^2_{ijk} + \epsilon}} .$$

Теперь весь блок стиля — одна свёртка, веса которой зависят от стиля. Нормализация вычисляется по весам, а не по картам признаков, поэтому выброс в данных больше не меняет того, как данные масштабируются, и капля теряет смысл. Цена в том, что демодуляция опирается на статистическое предположение о входах, а не на их фактическое содержимое; авторы называют её более слабой, чем нормализация по экземпляру. Похожие рассуждения о дисперсии используются при инициализации весов, а вычисление совпадает с нормализацией весов (weight normalization). Веса различны для каждого сэмпла в мини-батче, чего стандартные процедуры свёртки не поддерживают; реализация превращает мини-батч в один сэмпл с $N$ группами и использует групповые свёртки (grouped convolution; приложение B). Функции активации масштабируются так, чтобы сохранять ожидаемую дисперсию сигнала.

Разобранный пример (игрушечные числа). У одного выходного канала свёртки $1 \times 1$ с двумя входами веса $w = (0.6, 0.8)$, поэтому независимые входы с единичной дисперсией дают выход с дисперсией $0.36 + 0.64 = 1$. Стиль $s = (3, 0.5)$ даёт $w' = (1.8, 0.4)$ и дисперсию выхода $3.24 + 0.16 = 3.4$. Демодуляция делит на $\sigma = \sqrt{3.4} = 1.844$: $w'' = (0.976, 0.217)$, и дисперсия снова равна $0.953 + 0.047 = 1$. Стиль по-прежнему определяет смесь — первый вход теперь даёт 95% дисперсии вместо 36%, — но не общий масштаб. Если бы два входа были коррелированы с коэффициентом 0.5, те же веса дали бы $1 + 2 \cdot 0.5 \cdot 0.976 \cdot 0.217 = 1.21$: предположение имеет значение. Рисунок повторяет этот эксперимент на игрушечной свёртке $3 \times 3$ с шестью случайными стилями.

Рисунок

Демодуляция возвращает выходу единичную дисперсию

Новая архитектура убирает капли, сохраняя полное управление через стили. FID почти не меняется, с 4.40 до 4.39 на FFHQ, но точность падает с 0.721 до 0.702, а полнота растёт с 0.399 до 0.425 (таблица 1, строки A и B; см. точность и полноту (precision / recall)). Авторы считают этот сдвиг желательным, поскольку полноту можно обменять обратно на точность с помощью усечения, а наоборот — нельзя.

Регуляризация длины пути#

У FID и у точности с полнотой есть слепое пятно. StyleGAN2 показывает пары моделей LSUN с одинаковым FID и близкими точностью и полнотой, изображения которых явно различаются по качеству, и эту разницу улавливает PPL: на LSUN Cat у StyleGAN с FID 8.53 PPL равна 924, а у раннего снимка StyleGAN2 с тем же FID PPL равна 387, и он чаще порождает объекты в форме кошки (раздел 3, рисунки 4–5 и 13). Изображения с низкой PPL на изображение обычно выглядят хорошо, с высокой — хуже. Гипотеза авторов: поскольку дискриминатор наказывает сломанные изображения, генератору проще всего улучшаться, растягивая области латентного пространства, которые дают хорошие изображения, а это сжимает плохие в небольшие области быстрых изменений. Минимизация самой PPL подталкивала бы к вырожденному генератору с нулевой полнотой, поэтому авторы регуляризуют более слабое свойство: шаг фиксированной длины в $\mathcal W$ должен давать изменение изображения фиксированной величины, в каком бы направлении ни был сделан шаг (раздел 3.2).

Локальное поведение $g$ в точке $w$ описывает её матрица Якоби $J_w = \partial g(w) / \partial w$. Регуляризатор имеет вид (формула 4)

$$\mathcal L_{\mathrm{pl}} = \mathbb E_{w,\, y \sim \mathcal N(0, I)} \big(\lVert J_w^\top y \rVert_2 - a\big)^2 ,$$

где $y$ — случайное изображение с нормально распределёнными пикселями, $w = f(z)$ при $z \sim \mathcal N(0, I)$, а $a$ — скользящее среднее $\lVert J_w^\top y \rVert_2$ (коэффициент затухания 0.99), так что общий масштаб сеть выбирает сама. Матрица Якоби никогда не строится явно. По правилу дифференцирования сложной функции градиент скаляра $g(w) \cdot y$ по $w$ равен $J_w^\top y$, поэтому один обратный проход даёт $J_w^\top y = \nabla_w \big(g(w) \cdot y\big)$.

Почему это поощряет равномерное отображение? Запишем сингулярное разложение $J_w^\top = U \Sigma V^\top$ с сингулярными числами $\sigma_1, \dots, \sigma_L$ ($L = 512$, размерность $\mathcal W$). Поворот $V^\top$ не меняет распределения стандартного нормального $y$, компоненты после первых $L$ умножаются на ноль, а $U$ не меняет длин, поэтому $\lVert J_w^\top y\rVert$ распределена как $\big(\sum_{i=1}^{L} \sigma_i^2 \tilde y_i^2\big)^{1/2}$ с независимыми стандартными нормальными $\tilde y_i$. Когда $a$ равно средней длине, штраф равен дисперсии этой длины. Сумма $Q = \sum_i \sigma_i^2 \tilde y_i^2$ имеет среднее $\sum_i \sigma_i^2$ и дисперсию $2\sum_i \sigma_i^4$, и при больших $L$ дисперсия $\sqrt Q$ приближённо равна $\operatorname{Var} Q / (4\,\mathbb E Q) = \sum_i \sigma_i^4 / \big(2\sum_i \sigma_i^2\big)$. При фиксированной $\sum_i \sigma_i^2$ неравенство Коши–Буняковского $\big(\sum_i \sigma_i^2\big)^2 \le L \sum_i \sigma_i^4$ делает эту величину наименьшей, когда все $\sigma_i$ равны: матрица Якоби ортогональна с точностью до общего масштаба, сохраняет длины и не сжимает ни одного направления. Статья приходит к тому же выводу через рассуждение о концентрации меры (приложение C). Игрушечные числа: при $L = 512$ и $\sum_i \sigma_i^2 = 512$ равные сингулярные числа дают дисперсию 0.50, а если половина из них втрое больше другой половины — 0.82 (0.81 при моделировании методом Монте-Карло с 20 000 испытаний). Спектральная нормализация, напротив, ограничивает только наибольшее сингулярное число (см. заметку о WGAN); её добавление в генератор, вместе с этими изменениями или вместо них, всегда ухудшало FID (раздел 3.2 и приложение E). Слагаемое берётся с весом $\gamma_{\mathrm{pl}} = \ln 2 / \big(r^2 (\ln r - \ln 2)\big)$ для выходного разрешения $r$; такой выбор подошёл для всех наборов данных (приложение B).

С регуляризатором модели ведут себя надёжнее, генератор легче обратить, а распределение PPL на изображение сужается, причём его мода не уходит в ноль. На FFHQ PPL падает со 158.0 до 122.5, а FID почти не меняется, с 4.38 до 4.34; на LSUN Car FID растёт с 2.83 до 3.43, что указывает на компромисс между FID и PPL на менее структурированных наборах данных (таблица 1, строки C и D).

Ленивая регуляризация#

Штраф R1 и слагаемое длины пути требуют дополнительных обратных проходов. StyleGAN2 вычисляет их реже, чем основную функцию потерь: раз в $k = 16$ мини-батчей для дискриминатора и раз в $k = 8$ для генератора, в отдельном проходе (раздел 3.1 и приложение B). Слагаемое умножается на $k$, чтобы сохранить величину его градиентов, а поскольку теперь за $k$ основными шагами следует один шаг регуляризации, шаг обучения и коэффициенты затухания Adam корректируются с $c = k/(k+1)$: $\lambda' = c\lambda$, $\beta_1' = \beta_1^{\,c}$, $\beta_2' = \beta_2^{\,c}$. Вычисление R1 раз в 16 мини-батчей не повредило: FID с 4.39 до 4.38 на FFHQ (таблица 1, строка C). С демодуляцией весов, ленивой регуляризацией (lazy regularization) и оптимизацией кода скорость обучения в разрешении $1024^2$ выросла с 37 до 61 изображения в секунду на восьми GPU V100 (раздел 6).

Без прогрессивного роста#

Прогрессивный рост (progressive growing) — схема обучения, которую StyleGAN унаследовал от Progressive GAN, — даёт StyleGAN сильное предпочтение определённых положений для деталей: когда лицо поворачивается, зубы или глаза могут оставаться выровненными по камере, а затем перескакивать в следующее предпочтительное положение (раздел 4, рисунок 6). Объяснение авторов: при наращивании каждое разрешение какое-то время служит выходным, поэтому его подталкивают порождать детали максимальной частоты; обученная сеть сохраняет чрезмерно высокие частоты в промежуточных слоях, и это нарушает инвариантность к сдвигу (рисунок 16).

StyleGAN2 сохраняет цель наращивания — сначала низкие разрешения, мелкие детали позже, — не меняя сеть во время обучения. Статья сравнивает три генератора и три дискриминатора, обученных без наращивания (раздел 4.1, рисунок 7): исходные сети прямого распространения; обходные связи (skip connections), при которых генератор повышает разрешение и суммирует RGB-выходы всех разрешений, а дискриминатор получает изображение пониженного разрешения на каждом разрешении; и остаточные (residual) сети, у которых две ветви складываются и умножаются на $1/\sqrt2$, чтобы сохранить дисперсию. FID и PPL на FFHQ (таблица 2):

Генератор / дискриминатор	исходный	обходные связи на входах	остаточный
исходный	4.32 / 265	4.18 / 235	3.58 / 269
обходные связи на выходах	4.33 / 169	3.77 / 127	3.31 / 125
остаточный	4.35 / 203	3.96 / 229	3.79 / 243

Обходные связи в генераторе сильно улучшают PPL, а остаточный дискриминатор улучшает FID. StyleGAN2 использует генератор с обходными связями и остаточный дискриминатор. Если затем измерить, какой вклад каждое разрешение вносит в суммарный выход, видно, что генератор сам ведёт себя как при прогрессивном росте: в начале доминируют низкие разрешения, позже — более высокие. Но слои $1024^2$ так и не стали главными, и изображения выглядели как повышенная резкость изображений $512^2$. Удвоение числа карт признаков в слоях от $64^2$ до $1024^2$ обеих сетей исправило это ценой 22% и 21% дополнительных параметров у генератора и дискриминатора (раздел 4.2, рисунок 8).

Результаты#

FFHQ в разрешении $1024 \times 1024$; для FID и PPL меньше — лучше, для точности и полноты больше — лучше (таблица 1):

Конфигурация	FID	PPL	Точность	Полнота
A. StyleGAN	4.40	212.1	0.721	0.399
B. + демодуляция весов	4.39	175.4	0.702	0.425
C. + ленивая регуляризация	4.38	158.0	0.719	0.427
D. + регуляризация длины пути	4.34	122.5	0.715	0.418
E. + без наращивания, новые G и D	3.31	124.5	0.705	0.449
F. + большие сети (StyleGAN2)	2.84	145.0	0.689	0.492
A с большими сетями	3.98	199.2	0.716	0.422

FID снижается на 35.5%, с 4.40 до 2.84, а полнота растёт с 0.399 до 0.492. Последняя строка показывает, что одна только ёмкость не объясняет выигрыша. PPL здесь — версия по концам в $\mathcal W$, вычисленная по целым изображениям, без обрезки до лица, как в статье о StyleGAN, поэтому её нельзя напрямую сравнивать с предыдущей таблицей. На LSUN FID улучшается с 3.27 до 2.32 для автомобилей, с 8.53 до 6.93 для кошек, с 4.21 до 3.86 для церквей и с 3.83 до 3.43 для лошадей, а PPL падает примерно вдвое или сильнее во всех четырёх случаях (таблицы 1 и 3).

StyleGAN3: детали, приклеенные к пиксельной сетке#

У StyleGAN2 остаётся дефект, который виден в движении. При латентной интерполяции грубые признаки движутся, а мелкие детали, например волосы или мех, остаются неподвижными в пиксельных координатах, будто приклеены к экрану, а не к поверхности лица: прилипание текстуры (texture sticking; Karras et al., 2021, раздел 1, рисунок 1). У сети есть доступ к непреднамеренным позиционным ориентирам: границам изображения, попиксельным шумовым входам, позиционным кодированиям и алиасингу (aliasing) — слабым остаточным отпечаткам пиксельной сетки, которые оставляют неидеальные фильтры повышения разрешения (ближайший сосед, билинейный, свёртки с шагом) и поточечные нелинейности, например ReLU. Сеть усиливает даже слабый алиасинг и комбинирует его на разных масштабах в текстурные мотивы, закреплённые в экранных координатах.

StyleGAN3 рассматривает каждую карту признаков как непрерывный сигнал с ограниченным спектром, который пиксельная сетка лишь представляет, как в теореме Котельникова (Nyquist–Shannon sampling theorem; раздел 2). Тогда слой эквивариантен относительно сдвига или поворота, если коммутирует с ним в непрерывной области, и он не должен создавать частот, которые выходная сетка не может представить. Свёртка этому удовлетворяет. Повышение разрешения должно использовать близкое приближение идеального фильтра нижних частот: sinc-функцию с окном Кайзера, поскольку обычные фильтры подавляют алиасы слишком слабо, и, как оказалось, нужны фильтры с подавлением более 100 дБ. Поточечная нелинейность может создавать сколь угодно высокие частоты, поэтому её применяют на удвоенном разрешении и затем фильтром нижних частот возвращают обратно, в отдельном ядре CUDA (разделы 2.1 и 3.2). Генератор также заменяет обучаемую константу фурье-признаками (Fourier features), которые можно точно сдвигать и поворачивать, убирает шумовые входы, оставляет вокруг холста поле в 10 пикселей вместо того, чтобы полагаться на дополнение (padding), и задаёт частоту среза каждого из своих 14 слоёв отдельно. Эквивариантная относительно поворотов версия StyleGAN3-R использует свёртки $1 \times 1$ и радиально симметричные фильтры; эквивариантная относительно сдвигов — StyleGAN3-T. Эквивариантность измеряется как PSNR в децибелах между выходом для преобразованного входа и преобразованным выходом (EQ-T для сдвига, EQ-R для поворота, формула 3).

На невыровненном FFHQ в разрешении $1024^2$ (рисунок 5) StyleGAN2 достигает FID 3.79 при EQ-T 15.89 дБ, StyleGAN3-T — 3.67 при 61.69 дБ, а StyleGAN3-R — 3.66 при 64.78 дБ и EQ-R 47.64 дБ против 10.79 у StyleGAN2. На выровненном FFHQ значения FID равны 2.70, 2.79 и 3.07. Базовая модель в этом сравнении — StyleGAN2 с фурье-признаками, а не в точности конфигурация F выше. FID остаётся на уровне StyleGAN2, хотя внутреннее представление полностью меняется; выигрыш — в движении, что важно для видео и анимации. Цена — вычисления: на FFHQ 1106 GPU-часов для StyleGAN2, 1576 (+42%) для StyleGAN3-T и 2248 (+103%) для StyleGAN3-R.

Редактирование реальных изображений#

Всё, что описано выше, управляет изображениями, которые генератор сам породил из известного $w$. Чтобы отредактировать фотографию, сначала нужно найти $w$, изображение которого её воспроизводит: обращение GAN (GAN inversion) — оптимизация по латентному вектору, возможно, отдельно для каждого слоя в $\mathcal W^+$; оно описано вместе с компромиссом между искажением и редактируемостью в заметке о редактировании по точкам. Собственный проектор StyleGAN2 оптимизирует $w$ и карты шума по LPIPS, добавляя к $w$ постепенно убывающий шум и используя регуляризатор, который не даёт картам шума переносить согласованный сигнал; он остаётся в $\mathcal W$, а не в $\mathcal W^+$, потому что расширенное пространство может воспроизводить произвольные изображения, которые генератор никогда не смог бы породить (раздел 5). Генератор с регуляризацией длины пути обратить гораздо легче: изображения, сгенерированные StyleGAN2, проецируются обратно почти идеально, что позволяет приписать сгенерированное изображение создавшей его сети, тогда как проекции реальных обучающих изображений заметно отличаются от оригиналов (раздел 5.1, рисунки 9–10).

Что изменилось#

	Традиционный генератор	InfoGAN	StyleGAN	StyleGAN2	StyleGAN3
Куда входит код	первый слой	первый слой, как $(z, c)$	каждый слой, как стили из $w = f(z)$	каждый слой, как модуляция весов	каждый слой, как модуляция весов
Источник управляемости	нет	слагаемое взаимной информации со вспомогательной сетью	архитектура: отображающая сеть, стили, шум	то же	то же
Нормализация в генераторе	батч- или попиксельная нормализация	батч-нормализация	AdaIN	демодуляция весов	демодуляция, передискретизация с фильтрацией
Случайные детали	из $z$	из $z$	попиксельный шум	попиксельный шум	шум убран
Схема обучения	прогрессивный рост (Progressive GAN)	фиксированная сеть	прогрессивный рост	G с обходными связями, остаточный D, без наращивания	без наращивания
Устранённый известный артефакт	–	тривиальное использование кода	запутанность $\mathcal Z$	капли, фазовые артефакты	прилипание текстуры

Ограничения#

• Нет энкодера. StyleGAN отображает коды в изображения, но не наоборот. Для редактирования реальной фотографии нужно обращение оптимизацией или отдельно обученный энкодер, а то, что лежит за пределами множества значений генератора, недостижимо.
• Распутанность поощряется, но не гарантируется. Отображающая сеть даёт генератору возможность выпрямить $\mathcal W$, но ничто его к этому не принуждает. Метрики улучшаются, не достигая идеальных значений: метрика разделимости $\mathcal W$ равна 3.79 при нижней границе 1, а PPL в конце обучения снова растёт.
• Разделение на грубые, средние и тонкие стили обнаруживается, а не задаётся. Какие атрибуты окажутся в каких слоях, зависит от данных и запуска обучения, а некоторые факторы, например причёска, распределены по нескольким группам.
• Демодуляция приближённа. Она выравнивает дисперсию выхода только при выполнении своего статистического предположения и требует групповых свёрток с весами для каждого сэмпла.
• Компромиссы остаются. Регуляризация длины пути может стоить FID на менее структурированных наборах данных, усечение обменивает разнообразие на качество, а эквивариантной относительно поворотов StyleGAN3-R нужно примерно вдвое больше GPU-часов, чем StyleGAN2.
• Один вид объектов на модель. Результаты всех трёх статей о StyleGAN получены на наборах объектов одного вида — лиц, автомобилей, кошек, спален или пляжей, — часто выровненных. FFHQ выровнен и обрезан; для проверки эквивариантности в StyleGAN3 созданы невыровненные версии FFHQ и MetFaces.

Итоги#

• Вход GAN $z$ подчиняется фиксированному распределению, которое должно покрывать данные, поэтому отсутствующие комбинации факторов вынуждают искривлённое, запутанное отображение из $\mathcal Z$ в изображения.
• InfoGAN добавляет код $c$ и максимизирует вариационную нижнюю оценку $\mathbb E \log q_\phi(c \mid G(z, c)) + H(c)$ взаимной информации между $c$ и изображением; на MNIST он без меток находит класс цифры, поворот и ширину, но коды проектируются вручную, а остальная часть $z$ остаётся запутанной.
• StyleGAN отображает $z$ через MLP из 8 слоёв в $w$, начинает синтез с обучаемой константы, вводит $w$ через аффинное отображение и AdaIN в каждом слое, добавляет попиксельный шум для стохастических деталей и регуляризует смешиванием стилей. Грубые стили несут позу и форму, средние — черты лица, тонкие — цвет и микроструктуру; усечение сжимает $w$ к $\bar w$.
• Длина перцептивного пути и линейная разделимость измеряют распутанность без энкодера; обе метрики говорят в пользу $\mathcal W$, а не $\mathcal Z$.
• StyleGAN2 заменяет зависящую от данных нормализацию AdaIN модуляцией весов $w' = s_i w$ и демодуляцией $w'' = w' / \lVert w'_{j} \rVert_2$, что убирает капли; добавляет регуляризацию длины пути, поощряющую ортогональную матрицу Якоби; вычисляет регуляризаторы лениво; заменяет прогрессивный рост генератором с обходными связями и остаточным дискриминатором. FID на FFHQ падает с 4.40 до 2.84.
• StyleGAN3 устраняет алиасинг, рассматривая карты признаков как непрерывные сигналы, и это избавляет от прилипания текстуры при том же FID.

Код#

Модулированная свёртка с весами для каждого сэмпла, выполненная как одна групповая свёртка, и численная проверка тождества, лежащего в основе регуляризации длины пути. Код работает около секунды на CPU.

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# 1. Модулированная свёртка 3x3 с весами для каждого сэмпла, выполненная как одна групповая свёртка.
N, C, k, H = 4, 64, 3, 32                       # 4 сэмпла, по 64 входных и выходных канала
x = torch.randn(N, C, H, H)                     # н. о. р. входы с единичной дисперсией
w = torch.randn(C, C, k, k) / (C * k * k) ** 0.5
s = torch.exp(1.5 * torch.randn(N, C))          # свой вектор стиля для каждого сэмпла
wm = w[None] * s[:, None, :, None, None]        # модуляция: (N, C_out, C_in, k, k)
wd = wm * (wm.pow(2).sum([2, 3, 4], keepdim=True) + 1e-8).rsqrt()   # демодуляция

def conv(weights):
    y = F.conv2d(x.reshape(1, N * C, H, H), weights.reshape(N * C, C, k, k), groups=N)
    return y.reshape(N, C, H - 2, H - 2)

for name, wt in [("modulated", wm), ("demodulated", wd)]:
    sd = conv(wt).std(dim=(2, 3))               # ст. отклонение каждого выходного канала каждого сэмпла
    print(f"{name:12s} std of channels: min {sd.min():.2f}, max {sd.max():.2f}")
# modulated    std of channels: min 3.31, max 6.62
# demodulated  std of channels: min 0.92, max 1.06

# 2. Приём для длины пути: J^T y равно градиенту g(w) . y по w.
g = torch.nn.Sequential(torch.nn.Linear(8, 32), torch.nn.LeakyReLU(0.2), torch.nn.Linear(32, 100))
wv = torch.randn(8, requires_grad=True)
y = torch.randn(100)                            # случайное направление в пространстве «изображений»
J = torch.autograd.functional.jacobian(g, wv)   # 100 x 8
(grad,) = torch.autograd.grad(g(wv) @ y, wv)
print("max |J^T y - grad| =", f"{(J.T @ y - grad).abs().max():.1e}")
# max |J^T y - grad| = 3.6e-07   (округление float32)

Дальше#

StyleGAN управляет тем, что генерирует: грубые и тонкие стили, регулятор усечения, направления в $\mathcal W$. Но у него по-прежнему нет пути обратно от изображения к коду. Обращение — это оптимизация, которую запускают отдельно для каждой фотографии, и ничто в обучении не гарантирует, что у реального изображения вообще есть хороший код. Следующая заметка даёт GAN энкодер, обучаемый вместе с генератором: состязательные автоэнкодеры и α-GAN.

Где посмотреть изображения#

Эти модели лучше всего оценивать по сэмплам. В каждой строке указано, где их найти; номера рисунков относятся к указанной версии на arXiv.

• InfoGAN (Chen et al., 2016; arXiv v1): изменение одного латентного кода за раз на MNIST на рисунке 2 (класс цифры, поворот, ширина), на трёхмерных лицах на рисунке 3, на трёхмерных стульях на рисунке 4, на SVHN на рисунке 5 и на CelebA на рисунке 6.
• StyleGAN (Karras, Laine and Aila, 2019; arXiv v3): неотобранные лица FFHQ на рисунке 2; смешивание стилей на рисунке 3; стохастическая изменчивость от шумовых входов на рисунках 4 и 5; трюк усечения на рисунке 8; неотобранные спальни, автомобили и кошки LSUN на рисунках 10–12; репозиторий с видео результатов.
• StyleGAN2 (Karras et al., 2020; arXiv v2): артефакты-капли на рисунке 1 и их устранение демодуляцией на рисунке 3; фазовые артефакты прогрессивного роста на рисунке 6; отобранные вручную сэмплы на рисунке 11 и неотобранные сэмплы для каждого набора данных на рисунке 12; репозиторий с видео результатов и примерами изображений.
• StyleGAN3 (Karras et al., 2021; arXiv v4): прилипание текстуры на рисунке 1; внутренние карты признаков StyleGAN2 и StyleGAN3 на рисунке 6; неотобранные сэмплы для FFHQ-U, MetFaces-U, AFHQv2 и Beaches на рисунках 7–10; страница проекта с видео. Прилипание текстуры видно только в движении, поэтому видео говорят больше, чем рисунки.

Литература#

• X. Chen, Y. Duan, R. Houthooft, J. Schulman, I. Sutskever, P. Abbeel. InfoGAN: Interpretable representation learning by information maximizing generative adversarial nets. NeurIPS, 2016. Раздел 4: целевая функция с взаимной информацией; раздел 5: вариационная нижняя оценка и лемма 5.1; раздел 7 и приложение C: эксперименты и архитектуры.
• T. Karras, S. Laine, T. Aila. A style-based generator architecture for generative adversarial networks. CVPR, 2019. Раздел 2: генератор, формула 1 (AdaIN), таблица 1; раздел 3: смешивание стилей, шум, таблица 2; раздел 4: длина перцептивного пути и линейная разделимость, таблицы 3–4; приложение A: FFHQ; приложение B: усечение в $\mathcal W$.
• T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, T. Aila. Analyzing and improving the image quality of StyleGAN. CVPR, 2020. Раздел 2: капли, демодуляция весов (формулы 1–3); раздел 3: регуляризация длины пути и ленивая регуляризация (формула 4); раздел 4: архитектуры без прогрессивного роста, таблицы 1–2; раздел 5: проекция; приложения B–C.
• T. Karras, M. Aittala, S. Laine, E. Härkönen, J. Hellsten, J. Lehtinen, T. Aila. Alias-free generative adversarial networks. NeurIPS, 2021. Разделы 2–3: интерпретация как непрерывных сигналов и переработанный генератор; рисунок 5: результаты.
• X. Huang, S. Belongie. Arbitrary style transfer in real-time with adaptive instance normalization. ICCV, 2017. AdaIN.
• R. Zhang, P. Isola, A. A. Efros, E. Shechtman, O. Wang. The unreasonable effectiveness of deep features as a perceptual metric. CVPR, 2018. LPIPS — расстояние внутри длины перцептивного пути.