Генеративно-состязательные сети

VAE обучает свой генератор через нижнюю оценку правдоподобия и расплачивается за это размытыми сэмплами. Генеративно-состязательная сеть (generative adversarial network, GAN) обходится без правдоподобия вовсе (Goodfellow et al., 2014). Генератор — это сеть, которая превращает шум в сэмплы, и обучается он только через вторую сеть, дискриминатор, которая пытается отличить сгенерированные сэмплы от настоящих. Модель неявная (implicit): из неё можно сэмплировать, но нельзя вычислить её плотность.

Эту заметку организуют два факта; всё остальное показывает, откуда они берутся.

• Если дискриминатор оптимален, целевая функция генератора — это, по сути, дивергенция Йенсена–Шеннона (Jensen–Shannon divergence) в другой записи: $2\,D_{\mathrm{JS}}(p_{\text{data}}\,\|\,p_g) - 2\ln 2$. Тогда обучение генератора означает минимизацию $D_{\mathrm{JS}}(p_{\text{data}}\,\|\,p_g)$.
• Если носители (supports) двух распределений не перекрываются, а дискриминатор (почти) оптимален, минимаксная функция потерь генератора не даёт полезного градиента: JS застревает на своём максимуме $\ln 2$, где бы ни находилось $p_g$, а оптимальный дискриминатор постоянен вокруг сгенерированных сэмплов.

Обозначения. $p_{\text{data}}(x)$ — плотность данных, $p_z(z)$ — априорное распределение шума, $G$ — генератор с параметрами $\theta_g$, $p_g(x)$ — плотность сгенерированных сэмплов $G(z)$, $D$ — дискриминатор с параметрами $\theta_d$; $D(x) \in [0, 1]$ — вероятность того, что $x$ настоящий, причём $\ln 0 = -\infty$. Сеть с сигмоидой на выходе принимает значения в $(0, 1)$ и может лишь приближаться к концам отрезка. Логарифмы натуральные.

Порядок чтения. При первом чтении достаточно игры, чередующихся обновлений, оптимального дискриминатора и его связи с JS, ненасыщающейся функции потерь через логиты, коллапса мод, а затем GAN Вассерштейна. Расширения f-GAN и GAN наименьших квадратов — дополнительный материал.

Постановка#

Сэмплируем шум $z \sim p_z(z)$, например из стандартного гауссовского распределения, и пропускаем его через генератор. Выход $G(z)$ — сгенерированный сэмпл, а его распределение — $p_g(x)$. Дискриминатор получает либо сгенерированный сэмпл с меткой $y = 0$ (подделка), либо точку данных $x \sim p_{\text{data}}(x)$ с меткой $y = 1$ («настоящие») и выдаёт вероятность того, что его вход настоящий.

Рисунок

Игра GAN в виде схемы

Генератор никогда не видит настоящих данных напрямую. Он учится только через выход дискриминатора, а дискриминатор учится разделять два потока.

Минимаксная игра#

Две сети играют в минимаксную игру: дискриминатор максимизирует свой успех, а генератор минимизирует успех дискриминатора. Успех измеряется функцией ценности (value function)

$$\begin{aligned} V(G, D) ={}& \mathbb{E}_{x\sim p_{\text{data}}}\big[\ln D(x)\big] \\ &+ \mathbb{E}_{z\sim p_z}\big[\ln\big(1 - D(G(z))\big)\big], \end{aligned}$$

а сама игра — это $\min_G \max_D V(G, D)$.

Дискриминатор хочет, чтобы $D(x)$ было близко к $1$ на настоящих данных, а $D(G(z))$ — близко к $0$ на подделках; и то и другое увеличивает $V$. Генератор хочет, чтобы $D(G(z))$ было близко к $1$, и тогда второе слагаемое становится сильно отрицательным.

Откуда берётся функция ценности: бинарная кросс-энтропия#

Дискриминатор — бинарный классификатор, поэтому начнём с бинарной кросс-энтропии (binary cross-entropy, BCE) между меткой $y$ и предсказанием $\hat y$:

$$H(y, \hat y) = -\big[\,y\ln\hat y + (1 - y)\ln(1 - \hat y)\,\big].$$

• Для настоящего сэмпла $y = 1$, $\hat y = D(x)$ и $H = -\ln D(x)$.
• Для поддельного сэмпла $y = 0$, $\hat y = D(G(z))$ и $H = -\ln\big(1 - D(G(z))\big)$.

Для одного настоящего и одного поддельного сэмпла сумма равна $H = -\big[\ln D(x) + \ln\big(1 - D(G(z))\big)\big]$. Усреднение по многим таким парам превращает суммы в математические ожидания:

$$\begin{aligned} \mathbb{E}[-H] ={}& \mathbb{E}_{x\sim p_{\text{data}}}\big[\ln D(x)\big] \\ &+ \mathbb{E}_{z\sim p_z}\big[\ln\big(1 - D(G(z))\big)\big], \end{aligned}$$

что для непрерывных распределений записывается как

$$\begin{aligned} &\int p_{\text{data}}(x)\ln D(x)\,dx \\ &\quad + \int p_z(z)\ln\big(1 - D(G(z))\big)\,dz . \end{aligned}$$

Это в точности $V(G, D)$. Итак, $V$ — это бинарная кросс-энтропия дискриминатора со знаком минус: максимизировать $V$ по $D$ — то же самое, что обучать $D$ как обычный классификатор с функцией потерь BCE. Два слагаемых входят с равными весами, потому что классификатор видит настоящие и поддельные сэмплы в равной пропорции, то есть априорная вероятность класса равна $\tfrac12$. При других пропорциях меняются и $V$, и оптимальный дискриминатор, найденный ниже.

Как оптимизировать: игроки ходят по очереди#

Два игрока ходят по очереди, каждый на мини-батче размера $m$ (Goodfellow et al., 2014, алгоритм 1).

1. Фиксируем $G$. Берём $m$ настоящих сэмплов $x^{(1)},\dots,x^{(m)}$ и $m$ сэмплов шума $z^{(1)},\dots,z^{(m)}$ и обновляем $\theta_d$ градиентным подъёмом вдоль

$$\begin{aligned} \nabla_{\theta_d}\,\frac1m\sum_{i=1}^{m}\Big[&\ln D\big(x^{(i)}\big) \\ &+ \ln\Big(1 - D\big(G(z^{(i)})\big)\Big)\Big]. \end{aligned}$$

2. Фиксируем $D$. Берём $m$ новых сэмплов шума и обновляем $\theta_g$ градиентным спуском вдоль

$$\nabla_{\theta_g}\,\frac1m\sum_{i=1}^{m}\ln\Big(1 - D\big(G(z^{(i)})\big)\Big).$$

В шаге генератора участвует только второе слагаемое, потому что первое слагаемое не зависит от $G$: $\ln D(x)$ содержит только настоящие данные и $\theta_d$, поэтому его градиент по $\theta_g$ равен нулю. Шаг 1 можно повторять $k$ раз на каждый шаг генератора; в исходной статье $k = 1$. Как выбирать $k$, обсуждается в разделе о балансе двух игроков.

Глобальный оптимум: генератор совпадает с данными#

Игра выиграна, когда распределение генератора совпадает с распределением данных. Доказательство состоит из двух шагов (Goodfellow et al., 2014, предложение 1 и теорема 1).

Шаг 1: оптимальный дискриминатор при фиксированном генераторе#

Как и в Goodfellow et al. (2014), раздел 4, предположим, что оба распределения имеют плотности на одном и том же пространстве и что $D$ может быть любой функцией (неограниченная ёмкость, infinite capacity). Когда $\dim z < \dim x$, первое предположение нарушается; этот случай разобран ниже, в абзаце о неперекрывающихся носителях.

Перепишем второе математическое ожидание через сгенерированные сэмплы: $x = G(z)$ имеет плотность $p_g$, поэтому $\mathbb{E}_{z\sim p_z}\big[\ln(1 - D(G(z)))\big] = \mathbb{E}_{x\sim p_g}\big[\ln(1 - D(x))\big]$. Тогда при фиксированном $G$

$$\begin{aligned} V(G, D) = \int_x \Big[\,&p_{\text{data}}(x)\ln D(x) \\ &+ p_g(x)\ln\big(1 - D(x)\big)\Big]\,dx . \end{aligned}$$

$D$ можно выбирать свободно в каждой точке $x$, поэтому подынтегральное выражение можно максимизировать поточечно. Обозначим $a = p_{\text{data}}(x)$, $b = p_g(x)$ и $s = D(x)$. Если $a, b > 0$, то для функции $f(s) = a\ln s + b\ln(1 - s)$ на $(0, 1)$

$$\begin{aligned} f'(s) &= \frac{a}{s} - \frac{b}{1 - s} = 0 \;\Longrightarrow\; s^* = \frac{a}{a + b}, \\ f''(s) &= -\frac{a}{s^2} - \frac{b}{(1 - s)^2} < 0, \end{aligned}$$

поэтому $s^*$ — единственный максимум, и он лежит внутри $(0, 1)$. Если обращается в нуль ровно одна плотность, $f$ монотонна на $[0, 1]$ и её максимум достигается на конце отрезка: $s^* = 1$ там, где $b = 0$ (только данные), и $s^* = 0$ там, где $a = 0$ (только подделки). Формула $a/(a + b)$ даёт и эти значения; выход с сигмоидой может к ним лишь приближаться. Там, где обе плотности равны нулю, $D$ не имеет значения (Goodfellow et al., 2014, предложение 1).

Рисунок

В каждой точке x — максимизация по одной переменной

Следовательно, при фиксированном генераторе наилучший дискриминатор равен

$$D^*_G(x) = \frac{p_{\text{data}}(x)}{p_{\text{data}}(x) + p_g(x)} .$$

Рисунок

Оптимальный дискриминатор сравнивает две плотности

Шаг 2: подставляем оптимальный дискриминатор и узнаём JS#

Подставим $D^*_G$ обратно в $V$. Поскольку $1 - D^*_G = \dfrac{p_g}{p_{\text{data}} + p_g}$,

$$\begin{aligned} C(G) :={}& \max_D V(G, D) = V(G, D^*_G) \\ ={}& \mathbb{E}_{x\sim p_{\text{data}}}\ln\frac{p_{\text{data}}(x)}{p_{\text{data}}(x) + p_g(x)} \\ &+ \mathbb{E}_{x\sim p_g}\ln\frac{p_g(x)}{p_{\text{data}}(x) + p_g(x)} . \end{aligned}$$

Дивергенция Йенсена–Шеннона (определение здесь) сравнивает каждое распределение со смесью $m = \tfrac12(p_1 + p_2)$. Через математические ожидания

$$\begin{aligned} D_{\mathrm{JS}}(p_1\,\|\,p_2) &= \tfrac12 D_{\mathrm{KL}}(p_1\,\|\,m) \\ &\quad + \tfrac12 D_{\mathrm{KL}}(p_2\,\|\,m) \\ &= \tfrac12\,\mathbb{E}_{x\sim p_1}\ln\frac{p_1(x)}{m(x)} \\ &\quad + \tfrac12\,\mathbb{E}_{x\sim p_2}\ln\frac{p_2(x)}{m(x)} . \end{aligned}$$

Чтобы знаменатели совпали, разделим каждый из них на $2$ внутри логарифма и заплатим за это $\ln 2$ в каждом математическом ожидании, поскольку $\ln\frac{p}{p+q} = \ln\frac{p}{(p+q)/2} - \ln 2$. При $m = \tfrac12(p_{\text{data}} + p_g)$

$$\begin{aligned} C(G) ={}& \mathbb{E}_{x\sim p_{\text{data}}}\ln\frac{p_{\text{data}}(x)}{m(x)} \\ &+ \mathbb{E}_{x\sim p_g}\ln\frac{p_g(x)}{m(x)} - 2\ln 2 , \end{aligned}$$

то есть

$$C(G) = 2\,D_{\mathrm{JS}}(p_{\text{data}}\,\|\,p_g) - 2\ln 2 .$$

Поскольку $D_{\mathrm{JS}} \ge 0$ и равенство достигается только при $p_{\text{data}} = p_g$, минимум по $G$ достигается только при $p_g = p_{\text{data}}$:

$$\min_G C(G) = -2\ln 2 \approx -1.386 ,$$

и при этом $D^* = \tfrac12$ всюду. Для двух плотностей с рисунка об оптимальном дискриминаторе $D_{\mathrm{JS}} \approx 0.430$ ната (nats) и $C(G) \approx -0.526$; оба значения получены численным интегрированием — и по определению $V$, и по формуле через JS.

Это объясняет и предупреждение о неперекрывающихся носителях. Если $p_{\text{data}}$ и $p_g$ сосредоточены на непересекающихся множествах, то $D^* = 1$ на данных и $D^* = 0$ на подделках, $D_{\mathrm{JS}} = \ln 2$ и $C(G) = 0$ независимо от того, где именно находится $p_g$. Значит, $C$ постоянна по параметрам генератора. Однако обратное распространение ошибки дифференцирует не $C$: оно передаёт градиент $\ln\big(1 - D(G(z))\big)$ через фиксированный $D$, и этот градиент содержит $\nabla_x D$ в сгенерированных сэмплах. Когда носители — непересекающиеся компактные множества или многообразия, которые не выровнены идеально (do not perfectly align), существует оптимальный дискриминатор, равный $0$ на целой окрестности сгенерированных сэмплов, поэтому там $\nabla_x D^* = 0$ и градиент генератора исчезает (Arjovsky and Bottou, 2017, теоремы 2.1–2.2). Для дискриминатора, который отличается от $D^*$ не более чем на $\varepsilon$ по значению и по градиенту, норма градиента не превосходит $M\varepsilon/(1 - \varepsilon)$, где $M$ — верхняя граница нормы якобиана генератора (теорема 2.4).

Это не экзотический случай. Генератор, составленный из аффинных отображений и поэлементных нелинейностей, переводит $z$ в счётное объединение многообразий размерности не выше $\dim z$ (лемма 1), а естественные изображения, как считается, сосредоточены вблизи многообразия малой размерности. Два таких многообразия почти никогда не перекрываются на множестве положительной меры: они могут пересекаться, но только по множеству меньшей размерности (леммы 2–3). Поэтому идеальный дискриминатор существует и $D_{\mathrm{JS}} = \ln 2$, как бы близко ни находились два многообразия (теоремы 2.2–2.3). Это то же насыщение JS, которое мы наблюдали в одномерном случае в заметке о подгонке распределений. Чтобы исправить его, заметка о WGAN заменяет JS на расстояние Вассерштейна-1.

Обучение в картинках#

Рисунок

Как движутся два игрока во время обучения

1. В начале $p_g$ далеко от $p_{\text{data}}$, а дискриминатор произволен.
2. После обновления $\theta_d$ дискриминатор $D$ приближается к $D^*$: он высок над данными и низок над сгенерированными сэмплами.
3. После обновления $\theta_g$ градиент $D$ направляет $G(z)$ в области, которые $D$ относит к данным, поэтому $p_g$ сдвигается к $p_{\text{data}}$.
4. В итоге $p_g = p_{\text{data}}$, и дискриминатор не может их различить: $D(x) = \tfrac12$.

Эта картина идеализирована. Теория предполагает, что $D$ достигает оптимума после каждого шага генератора и что оба игрока могут представить любую функцию. На практике оба — нейронные сети, которые обучаются по нескольку шагов за раз, и чередующиеся обновления могут колебаться или схлопываться к нескольким модам данных (коллапс мод, mode collapse) вместо того, чтобы сходиться (Goodfellow, 2016, раздел 5.1.1). Средства против него собраны в разделе о коллапсе мод и борьбе с ним.

Какая функция потерь генератора используется на практике?#

Минимаксную функцию потерь генератора $\mathbb{E}_z\ln\big(1 - D(G(z))\big)$ редко минимизируют напрямую. Уже исходная статья рекомендует (Goodfellow et al., 2014, раздел 3) вместо этого обучать генератор максимизировать $\ln D(G(z))$, то есть минимизировать

$$\mathcal L_G = -\mathbb{E}_z\ln D\big(G(z)\big),$$

ненасыщающуюся функцию потерь (non-saturating loss). В коде это BCE между выходом дискриминатора на сгенерированных сэмплах и меткой «настоящий».

Проблема минимаксной функции потерь. Когда $D$ хорош, он уверенно отвергает подделки: $d = D(G(z)) \approx 0$. Тогда $\ln(1 - d) \approx \ln 1 = 0$. Малое значение само по себе не означает малого градиента; важен наклон функции потерь по $d$ и дальше, при обратном проходе через сеть:

$$\begin{aligned} \frac{\partial}{\partial d}\ln(1 - d) &= -\frac{1}{1 - d} \approx -1, \\ \frac{\partial}{\partial d}\big(-\ln d\big) &= -\frac1d \to -\infty \quad (d \to 0). \end{aligned}$$

При $d = 0.05$ наклоны равны $-1.05$ и $-20$. Дискриминатор заканчивается сигмоидой, $d = \sigma(\ell)$, и $\partial d/\partial\ell = d(1 - d)$. Поэтому по логиту градиенты равны $-d \to 0$ для минимаксной функции потерь и $-(1 - d) \to -1$ для ненасыщающейся. Минимаксная функция потерь насыщается по логиту, то есть там, где градиент входит в сеть: её градиент исчезает именно тогда, когда генератор хуже всего, а градиент ненасыщающейся функции потерь там как раз наибольший.

Рисунок

Насыщающаяся и ненасыщающаяся функции потерь генератора

Обе функции потерь убывают с ростом $D(G(z))$, поэтому толкают генератор в одном направлении, и при оптимальном дискриминаторе у них общая неподвижная точка $p_g = p_{\text{data}}$ (Goodfellow et al., 2014, раздел 3). Ненасыщающийся вариант уже не является в точности минимаксной игрой. При $D = D^*$ его ожидаемый градиент равен градиенту $D_{\mathrm{KL}}(p_g\,\|\,p_{\text{data}}) - 2\,D_{\mathrm{JS}}(p_{\text{data}}\,\|\,p_g)$ (Arjovsky and Bottou, 2017, теорема 2.5). Первое слагаемое — обратная KL (reverse KL): она сильно штрафует неправдоподобные, не похожие на настоящие сэмплы и лишь слабо — пропущенные моды; это одно из объяснений пропуска мод (mode dropping). Ненасыщающаяся функция потерь устраняет слабые градиенты в начале обучения, но не проблему непересекающихся носителей из предыдущего раздела: если моделировать ошибку дискриминатора вокруг $D^*$ как независимый шум, обновления генератора не исчезают, а становятся неустойчивыми, с бесконечной дисперсией (теорема 2.6).

Вычисление функций потерь по логитам#

Сеть дискриминатора заканчивается логитом $\ell$, и $D = \sigma(\ell)$. Оба логарифма в функциях потерь — функции от $\ell$, для которых само значение $\sigma(\ell)$ вычислять не нужно:

$$\begin{aligned} \ln D &= \ln\sigma(\ell) = -\operatorname{softplus}(-\ell),\\ \ln(1 - D) &= \ln\sigma(-\ell) = -\operatorname{softplus}(\ell), \end{aligned}$$

где $\operatorname{softplus}(t) = \ln(1 + e^{t})$. Первая строка следует из $\sigma(\ell) = 1/(1 + e^{-\ell})$, а вторая использует $1 - \sigma(\ell) = \sigma(-\ell)$. Softplus вычисляют как $\max(t, 0) + \ln(1 + e^{-\lvert t\rvert})$, поэтому экспонента никогда не переполняется. Функция потерь дискриминатора $-V$ принимает вид $\mathbb E_x\operatorname{softplus}(-\ell(x)) + \mathbb E_z\operatorname{softplus}(\ell(G(z)))$, а ненасыщающаяся функция потерь генератора — $\mathbb E_z\operatorname{softplus}(-\ell(G(z)))$.

Если сначала вычислить $\sigma$, а потом логарифм, вычисление ломается именно там, где дискриминатор уверен. В 32-битной арифметике с плавающей точкой $\sigma(\ell)$ округляется ровно до $1$, как только $\ell$ превышает примерно 17, поэтому $\ln(1 - \sigma(\ell))$ возвращает $-\infty$ там, где форма через softplus даёт около $-17$, и через округлённую сигмоиду не проходит никакой градиент. Библиотеки глубокого обучения предоставляют устойчивую форму как бинарную кросс-энтропию по логитам (binary_cross_entropy_with_logits в PyTorch).

Обучение GAN на практике#

Теория выше предполагает оптимальный дискриминатор и сети неограниченной ёмкости. Настоящий GAN — это две сети конечной ёмкости, которые обучаются по нескольку шагов за раз, и будет ли обучение вообще работать, решает набор эмпирических правил. Ни одно из них не теорема; каждое приводится здесь вместе с причиной, по которой оно помогает.

Архитектура: рекомендации DCGAN#

Первые свёрточные GAN, которые надёжно обучались на изображениях, следовали пяти правилам (Radford, Metz and Chintala, 2016, раздел 3):

1. Никакого пулинга (pooling). Дискриминатор понижает разрешение свёртками с шагом больше 1 (strided convolutions), а генератор повышает его свёртками с дробным шагом (fractionally strided), то есть транспонированными свёртками (transposed convolutions), так что обе сети сами учатся менять разрешение.
2. Батч-нормализация (batch normalization) в обеих сетях, кроме выходного слоя генератора и входного слоя дискриминатора, где из-за неё сэмплы начинали колебаться.
3. Никаких полносвязных скрытых слоёв. Первый слой генератора — матричное умножение, выход которого переформируется в небольшую пространственную карту: $4 \times 4$ с 1024 каналами в генераторе $64 \times 64$ из статьи. Последние свёрточные признаки дискриминатора вытягиваются в вектор и дают один выход с сигмоидой.
4. ReLU в генераторе и Tanh на его выходе, чтобы изображения лежали в $[-1, 1]$, как и обучающие изображения, отмасштабированные в этот диапазон.
5. LeakyReLU в дискриминаторе с наклоном $0.2$.

Стандартными стали и детали обучения (раздел 4): Adam с шагом обучения (learning rate) $2\cdot10^{-4}$ и $\beta_1 = 0.5$, потому что обычное $\beta_1 = 0.9$ приводило к колебаниям; мини-батчи по 128 примеров; веса, инициализированные из $\mathcal N(0, 0.02^2)$; и 100-мерный вектор шума из равномерного распределения.

У этих правил есть причины, которые объясняют предыдущие заметки. Свёртки с шагом и LeakyReLU сохраняют градиенты плотными: max-пулинг передаёт градиент только одному входу каждого окна, а ReLU при отрицательных входах не передаёт его вовсе, тогда как LeakyReLU сохраняет там наклон $0.2$ (см. распространённые решения проблемы затухающих градиентов). Именно батч-нормализация позволила глубоким генераторам начать обучаться, и она не давала им схлопнуть все сэмплы в одну точку (раздел 3). Внутри дискриминатора она к тому же делает каждый выход зависящим от статистик всего мини-батча — это слабая форма описанной ниже дискриминации по мини-батчу (minibatch discrimination; Salimans et al., 2016, разделы 3.2 и 3.5).

Более поздние архитектуры меняют часть правил, но сохраняют их назначение.

• Повышение разрешения. Транспонированная свёртка, размер ядра которой не делится на шаг, перекрывается неравномерно и может оставлять шахматные артефакты (checkerboard artifacts). Изменение размера с последующей обычной свёрткой избегает неравномерного перекрытия (транспонированная свёртка или повышение разрешения + свёртка?).
• Полностью свёрточный дискриминатор. Последним слоем может быть свёртка, ядро которой покрывает всю оставшуюся карту признаков, например $4 \times 4$ на карте $4 \times 4$; она возвращает один логит на изображение без полносвязного слоя. Radford et al. обнаружили, что глобальный усредняющий пулинг (global average pooling) на этом месте повышал устойчивость, но замедлял сходимость (раздел 3).
• Дропаут (dropout) в дискриминаторе. Случайное выбрасывание целых карт признаков, как в шумоподавляющем автоэнкодере (denoising autoencoder), регуляризует дискриминатор, так что он меньше подстраивается под обучающие изображения.
• Латентный код. Никакая теория не задаёт его размер. Слишком маленький код не может представить разнообразие данных; DCGAN использует 100 измерений, и обычны значения от 100 до 256. Свёрточный генератор может также начинать с небольшой пространственной сетки шума, например $4 \times 4$ с несколькими каналами, и удваивать разрешение в каждом блоке: $4 \to 8 \to 16 \to 32 \to 64$.
• Сэмплирование из суженного априорного распределения. Если при сэмплировании уменьшить масштаб шума, например брать $z \sim \mathcal N(0, 0.7^2 I)$ вместо $\mathcal N(0, I)$, изображения получаются более типичными, но менее разнообразными. Тогда сэмплы приходят не из того распределения, на котором обучался генератор. Такое сужение априорного распределения — эвристика, похожая на усечение, которую часто вольно называют трюком усечения (truncation trick); она жертвует полнотой (recall) ради точности (precision). Строго говоря, масштабирование гауссианы — не сэмплирование усечённой гауссианы, которое BigGAN выполняет, пересэмплируя значения за порогом. Любая метрика, посчитанная по таким сэмплам, измеряет изменённое распределение, поэтому масштаб сэмплирования нужно сообщать вместе с ней.

Баланс двух игроков#

Дискриминатор — единственный источник градиента для генератора, поэтому оба игрока должны улучшаться с сопоставимой скоростью. Уже исходная статья предупреждает, что генератор, который слишком долго обучается против фиксированного дискриминатора, отображает слишком много значений $z$ в один и тот же $x$ (Goodfellow et al., 2014, раздел 6). Регуляторы здесь — число $k$ шагов дискриминатора на шаг генератора, два шага обучения и ёмкость каждой сети.

• Дискриминатор насыщается: он почти наверняка отвергает подделки, и градиенты генератора уменьшаются. Минимаксная функция потерь насыщается, а при непересекающихся носителях даже оптимальный дискриминатор не указывает направления. Тогда дискриминатор обновляют реже, снижают его шаг обучения или уменьшают его ёмкость.
• Генератор не справляется или схлопывается к нескольким модам, а обратная связь от дискриминатора неустойчива: дискриминатор отстаёт и указывает плохие направления. Тогда его обновляют чаще, $k > 1$.

Ни одна из крайностей не работает. Слишком много шагов дискриминатора приводят к затуханию градиентов генератора; слишком мало — оставляют дискриминатор, который не может дать осмысленной обратной связи. Следующая заметка меняет целевую функцию так, чтобы сильный критик помогал, а не мешал.

Картину дополняют три привычки. Обрезка нормы градиента (gradient clipping; распространённые решения) защищает от редких взрывных обновлений; Nowozin, Cseke и Tomioka сочли Adam и обрезку полезными в своём самом крупном эксперименте (2016, раздел 3.2). Небольшая архитектура или небольшой набор данных сначала проверяют, что весь конвейер работает. И на сэмплы стоит смотреть часто: две функции потерь меняются в противоположные стороны и не измеряют качество сэмплов, поэтому заметить коллапс рано позволяют именно сэмплы, а позже и метрики вроде Inception Score.

Сглаживание и инвертирование меток#

Одностороннее сглаживание меток (one-sided label smoothing) обучает дискриминатор на настоящих сэмплах с целевым значением $\alpha = 0.9$ вместо $1$, чтобы он никогда не становился полностью уверенным (Salimans et al., 2016, раздел 3.4). Почему только на настоящих сэмплах? Пусть целевые значения равны $\alpha$ для настоящих и $\beta$ для поддельных сэмплов. Подынтегральное выражение из шага 1 принимает вид $A\ln s + B\ln(1 - s)$, где $A = \alpha\,p_{\text{data}} + \beta\,p_g$ и $B = (1 - \alpha)\,p_{\text{data}} + (1 - \beta)\,p_g$, поэтому его максимум достигается в точке $A/(A + B)$:

$$D^*(x) = \frac{\alpha\,p_{\text{data}}(x) + \beta\,p_g(x)}{p_{\text{data}}(x) + p_g(x)} .$$

Рассмотрим область, где генератор помещает гораздо больше массы, чем данные, так что отношение $r = p_{\text{data}}/p_g$ мало. Там с точностью до первого порядка по $r$ имеем $D^* \approx \beta + (\alpha - \beta)\,r$.

• При $\beta = 0$ ненасыщающаяся функция потерь $-\ln D^* \approx -\ln\alpha - \ln r$ следует за логарифмом отношения плотностей, и её градиент не уменьшается вместе с $r$.
• При $\beta > 0$ она равна $-\ln D^* \approx -\ln\beta - \frac{\alpha - \beta}{\beta}\,r$, и её градиент $-\frac{\alpha - \beta}{\beta}\,r\,\nabla\ln r$ содержит малый множитель $r$: подделки, далёкие от данных, почти не сдвигаются.

Поэтому сглаживают только метку настоящих сэмплов. При $\beta = 0$ оптимальный выход не превосходит $\alpha$: там, где две плотности равны, он равен $0.45$ вместо $0.5$.

Случайное инвертирование меток (random label flipping) меняет на противоположные метки небольшой случайной доли $\varepsilon$ обучающих примеров дискриминатора. Бинарная кросс-энтропия $H(y, \hat y) = -[y\ln\hat y + (1 - y)\ln(1 - \hat y)]$ линейна по целевому значению $y$, поэтому в среднем инвертирование заменяет целевые значения $1$ и $0$ на $1 - \varepsilon$ и $\varepsilon$. Это двустороннее сглаживание меток с $\alpha = 1 - \varepsilon$ и $\beta = \varepsilon$ плюс шум. Оно не даёт дискриминатору стать излишне уверенным, но, согласно рассуждению выше, его половина, относящаяся к подделкам, ослабляет притяжение далёких от данных подделок, поэтому его применяют осторожно, если применяют вообще.

Коллапс мод и борьба с ним#

При коллапсе мод генератор отображает большую часть своего шума в несколько выходов, которые принимает текущий дискриминатор. Salimans et al. (2016, раздел 3.2) описывают механизм. Дискриминатор рассматривает каждый сэмпл по отдельности, поэтому его градиент указывает в одну и ту же сторону для всех похожих сэмплов, и ничто не требует от выходов генератора отличаться друг от друга. Когда дискриминатор научится отвергать схлопнувшуюся моду, генератор переходит к другой, и они могут гоняться друг за другом бесконечно. Вторая причина — слагаемое с обратной KL в ненасыщающейся функции потерь (выше): пропуск моды обходится ей дёшево. Средства борьбы воздействуют на разные части этого механизма.

• Дискриминация по мини-батчу позволяет дискриминатору сравнивать сэмплы (Salimans et al., 2016, раздел 3.2). Промежуточный вектор признаков $f(x_i) \in \mathbb R^A$ умножается на обучаемый тензор $T \in \mathbb R^{A\times B\times C}$, что даёт матрицу $M_i \in \mathbb R^{B\times C}$. Для каждой её строки $b$ близость двух сэмплов равна $c_b(x_i, x_j) = \exp\big(-\lVert M_{i,b} - M_{j,b}\rVert_1\big)$, и слой выдаёт $o(x_i)_b = \sum_{j} c_b(x_i, x_j)$ — сумму по мини-батчу. Вектор $o(x_i) \in \mathbb R^B$ присоединяется к $f(x_i)$ и подаётся на следующий слой, отдельно для мини-батчей настоящих и сгенерированных сэмплов. Схлопнувшийся батч содержит много почти одинаковых сэмплов и поэтому даёт большие значения $o$, и дискриминатор может научиться такие батчи отвергать.
• Развёрнутые GAN (unrolled GANs) позволяют генератору предвидеть ответ дискриминатора (Metz et al., 2017, разделы 2.2–2.4). Запишем функцию ценности как $V(\theta_G, \theta_D)$. Начиная с $\theta_D^0 = \theta_D$, сделаем $K$ шагов градиентного подъёма дискриминатора, $\theta_D^{k+1} = \theta_D^k + \eta\,\partial V(\theta_G, \theta_D^k)/\partial\theta_D^k$, и определим суррогат $V_K(\theta_G, \theta_D) = V\big(\theta_G, \theta_D^K(\theta_G, \theta_D)\big)$. Генератор спускается по $V_K$, распространяя градиент обратно через все $K$ шагов, а дискриминатор по-прежнему обновляется по $V$. По правилу дифференцирования сложной функции градиент $V_K$ состоит из двух слагаемых (раздел 2.4): обычной производной $\partial V/\partial\theta_G$ при развёрнутом дискриминаторе и слагаемого через $d\theta_D^K/d\theta_G$, которое описывает, как дискриминатор отреагировал бы на ход генератора. Первое слагаемое само по себе толкает к коллапсу: против фиксированного дискриминатора наилучший генератор помещает всю массу в единственную точку, которая больше всего нравится дискриминатору. Второе слагаемое «видит», что схлопнувшийся генератор быстро был бы отвергнут, и тем самым препятствует коллапсу. $K = 0$ — стандартный GAN. Если $K$ внутренних шагов сходятся к оптимальному дискриминатору, то при $K \to \infty$ суррогат приближается к истинной целевой функции генератора $V(\theta_G, \theta_D^*(\theta_G))$; у нейросетевого дискриминатора внутренний подъём может не сойтись или дойти лишь до локального оптимума, так что большое $K$ — приближение, а не гарантия.
• История. Историческое усреднение (historical averaging) добавляет к функции потерь каждого игрока слагаемое $\big\lVert\theta - \tfrac1t\sum_{i=1}^{t}\theta[i]\big\rVert^2$, где $\theta[i]$ — параметры на прошлом шаге $i$: это притяжение к среднему всех прошлых значений параметров, которое гасит колебания (Salimans et al., 2016, раздел 3.3). Если обучать дискриминатор частично на буфере сэмплов от прежних генераторов (в Shrivastava et al. (2017), раздел 2.3, это половина каждого мини-батча дискриминатора), он не забывает моды, которые генератор посещал раньше, и генератор не может безнаказанно к ним вернуться.
• Несколько дискриминаторов. GMAN обучает генератор против $N$ дискриминаторов и объединяет их значения сглаженным максимумом, который переходит от среднего к максимуму, когда параметр $\lambda$ растёт от $0$ до $\infty$ (Durugkar, Gemp and Mahadevan, 2017, раздел 4.1). Среднее — снисходительный учитель, а максимум — суровый противник.
• Другое расстояние. GAN Вассерштейна (Wasserstein GAN) со штрафом на градиент (gradient penalty) или спектральной нормализацией критика даёт полезные градиенты, даже когда носители не перекрываются. Исходный WGAN, обученный с обрезкой весов (weight clipping), не показал признаков коллапса мод ни в одном из экспериментов его авторов (Arjovsky, Chintala and Bottou, 2017, раздел 4.3).

Расширения#

Условный GAN#

Условный GAN (conditional GAN; Mirza and Osindero, 2014) даёт обеим сетям метку $c$, например класс: генератор выдаёт $G(z, c)$, а дискриминатор оценивает пары $D(x, c)$. Пусть $p_{\text{data}}(x, c)$ — совместное распределение данных и меток, а $p_c$ — его маргинальное распределение меток. Функция ценности становится такой:

$$\begin{aligned} V_{\text{cond}} ={}& \mathbb{E}_{(x,c)\sim p_{\text{data}}}\big[\ln D(x,c)\big] \\ &+ \mathbb{E}_{c,\,z}\big[\ln\big(1-D(G(z,c),c)\big)\big], \end{aligned}$$

где второе математическое ожидание берётся по $c \sim p_c$ и $z \sim p_z$. Это исходная игра, разыгранная на парах $(x, c)$: у сгенерированных пар совместное распределение $p_g(x, c) = p_c(c)\,p_g(x \mid c)$, и рассуждение из предыдущих разделов, применённое к парам, показывает, что в оптимуме совместные распределения совпадают: $p_g(x, c) = p_{\text{data}}(x, c)$. Реалистичное изображение в паре с неверной меткой лежит вне совместного распределения данных, поэтому дискриминатор может его отвергнуть, и генератор учится следовать условию. Это аналог условного VAE для GAN.

f-GAN#

Дополнительный материал: игра для любой f-дивергенции через сопряжённые функции. Остальная часть заметки на него не опирается.

Исходный GAN минимизирует JS. f-GAN (Nowozin, Cseke and Tomioka, 2016) обобщает игру на любую f-дивергенцию (f-divergence)

$$D_f(P\,\|\,Q) = \int q(x)\, f\!\left(\frac{p(x)}{q(x)}\right) dx ,$$

где $f$ — выпуклая полунепрерывная снизу функция с $f(1) = 0$; $f(u) = u\ln u$ даёт $D_{\mathrm{KL}}(P\,\|\,Q)$. Ключевой инструмент — сопряжённая по Фенхелю функция (convex conjugate) $f^*(t) = \sup_u \{ut - f(u)\}$. После перестановки слагаемых определение даёт неравенство $f(u) \ge tu - f^*(t)$ при любом $t$: каждая прямая с наклоном $t$ и свободным членом $-f^*(t)$ лежит под графиком $f$, а для дифференцируемой $f$ прямая с $t = f'(u)$ касается графика в точке $u$. Для выпуклой полунепрерывной снизу $f$ эти прямые восстанавливают $f$ в точности: $f(u) = \sup_t \{tu - f^*(t)\}$ (теорема Фенхеля–Моро). Например, $f(u) = \tfrac12(u - 1)^2$, половина порождающей функции дивергенции $\chi^2$ Пирсона, даёт $f^*(t) = t + \tfrac12 t^2$: супремум $tu - \tfrac12(u-1)^2$ достигается при $u = 1 + t$.

Рисунок

Сопряжённая по Фенхелю функция как свободный член касательной

Подставим это представление в каждой точке, положив $u(x) = p(x)/q(x)$, и позволим наклону $t = T(x)$ зависеть от $x$ (Nguyen, Wainwright and Jordan, 2010; Nowozin, Cseke and Tomioka, 2016, раздел 2.2, формулы 4–5):

$$\begin{aligned} D_f(P\,\|\,Q) &= \int q(x) \sup_t \big\{ t u(x) - f^*(t) \big\}\,dx \\ &= \sup_T \int \Big[ p(x)\,T(x) \\ &\qquad - q(x)\,f^*\big(T(x)\big) \Big]\, dx \\ &\ge \sup_{T \in \mathcal T} \Big\{\mathbb{E}_{x\sim P}\big[T(x)\big] \\ &\qquad - \mathbb{E}_{x\sim Q}\big[f^*(T(x))\big]\Big\}. \end{aligned}$$

Во второй строке наилучший наклон выбирается отдельно в каждой точке. Если $T$ пробегает все функции со значениями в области определения $f^*$, при этом ничего не теряется: для дифференцируемой $f$ супремум достигается при $T^*(x) = f'\big(p(x)/q(x)\big)$. Неравенство появляется в третьей строке, где $T$ ограничена классом $\mathcal T$, например семейством нейронных сетей.

При $P = p_{\text{data}}$, $Q = p_g$ и нейронной сети $T$ правая часть — игра двух игроков: $T$ играет роль дискриминатора и максимизирует, а генератор минимизирует. Обоим математическим ожиданиям нужны только сэмплы, а не плотности, и именно поэтому оценка пригодна для неявной модели. Исходный GAN — один из частных случаев, с ненормированной порождающей функцией. При $f(u) = u\ln u - (u + 1)\ln(u + 1)$ имеем $f(1) = -2\ln 2 = -\ln 4$, а не $0$: эта $f$ — нормированная порождающая функция плюс константа $-\ln 4$, и поскольку $\int q\,(-\ln 4)\,dx = -\ln 4$, дивергенция сдвигается на ту же константу: $D_f(P\,\|\,Q) = 2\,D_{\mathrm{JS}}(P\,\|\,Q) - \ln 4$, а сопряжённая функция равна $f^*(t) = -\ln(1 - e^t)$ при $t < 0$. Подстановка $T(x) = \ln D(x)$ с $D(x) \in (0, 1)$ даёт $f^*(T(x)) = -\ln(1 - D(x))$, и оценка превращается в точности в $V(G, D)$ (Nowozin, Cseke and Tomioka, 2016, раздел 2.4, таблицы 1 и 6).

Выходные активации. Оценке нужно, чтобы $T(x)$ лежало в области определения $f^*$, а для большинства дивергенций это не вся вещественная прямая. Поэтому в f-GAN сеть выдаёт неограниченное число $v(x)$, которое затем проходит через фиксированную возрастающую выходную активацию (output activation) $g_f$, так что $T(x) = g_f(v(x))$ (раздел 2.4, формула 7). Игра принимает вид

$$\begin{aligned} F ={}& \mathbb{E}_{x\sim P}\big[g_f(v(x))\big] \\ &- \mathbb{E}_{x\sim Q}\big[f^*\big(g_f(v(x))\big)\big] . \end{aligned}$$

В таблице собраны обычные варианты (таблицы 1 и 2). Соглашение то же, что выше: $D_f(P\,\|\,Q) = \int q\, f(p/q)\,dx$ при $P = p_{\text{data}}$ и $Q = p_g$, а порождающие функции $f$ взяты у Nowozin et al. Условие после $f^*(t)$ задаёт её область определения.

Дивергенция	$f(u)$	$g_f(v)$	$f^*(t)$
$D_{\mathrm{KL}}(P\Vert Q)$	$u\ln u$	$v$	$e^{t-1}$
$D_{\mathrm{KL}}(Q\Vert P)$	$-\ln u$	$-e^{-v}$	$-1-\ln(-t)$, $t<0$
$\chi^2$ Пирсона	$(u-1)^2$	$v$	$t + t^2/4$
квадрат расстояния Хеллингера	$(\sqrt u - 1)^2$	$1 - e^{-v}$	$t/(1-t)$, $t<1$
$2D_{\mathrm{JS}}$	$u\ln u - (u+1)\ln\frac{u+1}{2}$	$\ln 2 - \ln(1 + e^{-v})$	$-\ln(2 - e^{t})$, $t<\ln 2$
GAN: $2D_{\mathrm{JS}} - \ln 4$, без нормировки	$u\ln u - (u+1)\ln(u+1)$	$-\ln(1 + e^{-v})$	$-\ln(1 - e^{t})$, $t<0$

Три замечания к таблице.

• Каждая $g_f$ возрастает, поэтому большое $v(x)$ всегда означает «выглядит настоящим».
• Nowozin et al. называют пятую строку дивергенцией Йенсена–Шеннона, но при этой $f$ получается удвоенная $D_{\mathrm{JS}}$ в смысле определения из заметки об энтропии. Её $f$ больше, чем в строке GAN, на $(u+1)\ln 2$, поэтому две дивергенции отличаются на константу $\ln 4$, и обучение по этим двум строкам идёт одинаково.
• Строка Пирсона использует $f(u) = (u - 1)^2$. Порождающая функция $\tfrac12(u - 1)^2$ из примера выше даёт половину этой дивергенции и сопряжённую функцию $t + t^2/2$.

Сначала композиция, потом вычисление. Если вычислять сначала $g_f$, а затем $f^*$, теряется точность — по той же причине, что и при $\sigma$ с последующим $\ln$ (выше), и Nowozin et al. рекомендуют реализовывать композицию $f^*(g_f(v))$ напрямую (раздел 2.4, сноска 1). Для каждой строки она проста: сверху вниз $e^{v-1}$, $v - 1$, $v + v^2/4$, $e^{v} - 1$, $\operatorname{softplus}(v) - \ln 2$ и $\operatorname{softplus}(v)$. Для строки GAN $g_f(v) = -\operatorname{softplus}(-v) = \ln\sigma(v)$, поэтому $F$ — в точности бинарная кросс-энтропия дискриминатора со знаком минус, вычисленная по его логиту $v$.

Шаг генератора. Как и в GAN, генератор может максимизировать $\mathbb E_{x\sim Q}\big[g_f(v(x))\big]$ вместо того, чтобы минимизировать относящееся к подделкам слагаемое $F$. Стационарная точка при этом сохраняется, и Nowozin et al. сочли такой шаг полезным и для дивергенций, отличных от дивергенции GAN (раздел 3.2).

GAN наименьших квадратов#

Дополнительный материал: квадратичная функция потерь дискриминатора и то, что минимизирует её оптимум. Остальная часть заметки на него не опирается.

Ненасыщающаяся функция потерь исправляет градиент для подделок, которые дискриминатор уверенно отвергает. GAN наименьших квадратов (least-squares GAN, LSGAN) исправляет и противоположный случай — подделки, которые дискриминатор уже принимает, но которые всё ещё далеки от данных (Mao et al., 2017). У его дискриминатора нет сигмоиды. Это регрессионная сеть с вещественным выходом, которую обучают выдавать значение $b$ на настоящих сэмплах и $a$ на подделках, а генератор хочет, чтобы его сэмплы получали значение $c$ (раздел 3.2, формула 2):

$$\begin{aligned} \min_D\;& \tfrac12\,\mathbb E_{x\sim p_{\text{data}}}\big[(D(x) - b)^2\big] \\ &+ \tfrac12\,\mathbb E_{z\sim p_z}\big[(D(G(z)) - a)^2\big],\\ \min_G\;& \tfrac12\,\mathbb E_{z\sim p_z}\big[(D(G(z)) - c)^2\big]. \end{aligned}$$

Обычный выбор — кодирование 0–1, $a = 0$, $b = c = 1$ (формула 9): дискриминатор учится выдавать 1 на настоящих сэмплах и 0 на подделках, а генератор добивается значения 1. Mao et al. обнаружили, что это кодирование работает так же, как кодирование для $\chi^2$, описанное ниже, и использовали его в своих экспериментах (раздел 3.2.3).

Почему помогают наименьшие квадраты. Граница решений (decision boundary) проходит там, где $D$ находится посередине между $a$ и $b$. Подделка может лежать по «настоящую» сторону этой границы, так что дискриминатор уже считает её настоящей, и всё же быть далеко от данных. При сигмоиде и кросс-энтропии у такого сэмпла почти нет ни потерь, ни градиента: ненасыщающаяся функция потерь $-\ln\sigma(\ell)$ выполаживается с ростом логита $\ell$, и её наклон $-(1 - \sigma(\ell)) \to 0$. Квадратичная функция потерь плоская только при $D = c$, поэтому подделку, получившую значение дальше $c$, тянет обратно, но лишь до линии уровня $D = c$. Во время шага генератора дискриминатор фиксирован, поэтому такие подделки сдвигаются к границе решений, а для успешного обучения граница должна проходить через данные (раздел 3.2.1).

Рисунок

Наименьшие квадраты тянут далёкие подделки обратно

Дополнительный градиент возникает из-за формы обученного дискриминатора с вещественным выходом, который продолжает расти по мере удаления от границы, как линейный дискриминатор на рисунке. Оптимальный дискриминатор, найденный ниже без ограничений на класс функций, всюду лежит между $a$ и $b$, и вдали от обоих распределений его квадратичная функция потерь тоже может выполаживаться.

Оптимальный дискриминатор и $\chi^2$ Пирсона. При фиксированном генераторе функцию потерь дискриминатора можно минимизировать поточечно, как в шаге 1. Подынтегральное выражение $\tfrac12 p_{\text{data}}(D - b)^2 + \tfrac12 p_g(D - a)^2$ — парабола по $D$ с минимумом в точке (формула 5)

$$D^*(x) = \frac{b\,p_{\text{data}}(x) + a\,p_g(x)}{p_{\text{data}}(x) + p_g(x)} .$$

Добавим к функции потерь генератора слагаемое $\tfrac12\,\mathbb E_{x\sim p_{\text{data}}}\big[(D(x) - c)^2\big]$; оно не зависит от $G$ и потому не меняет ни одного градиента. При $D = D^*$, используя $D^* - c = \big((b - c)\,p_{\text{data}} + (a - c)\,p_g\big)/(p_{\text{data}} + p_g)$, получаем расширенную функцию потерь (формулы 4 и 6)

$$\begin{aligned} 2C(G) &= \int \big(p_{\text{data}} + p_g\big)\big(D^* - c\big)^2\,dx \\ &= \int \frac{\big((b - c)\,p_{\text{data}} + (a - c)\,p_g\big)^2}{p_{\text{data}} + p_g}\,dx . \end{aligned}$$

Выберем $b - c = 1$ и $b - a = 2$, например $a = -1$, $b = 1$, $c = 0$ (формула 8). Тогда $a - c = -1$, и числитель равен $(p_{\text{data}} - p_g)^2$. Для смеси $m = \tfrac12(p_{\text{data}} + p_g)$ имеем $p_{\text{data}} - p_g = 2(m - p_g)$ и $p_{\text{data}} + p_g = 2m$, поэтому

$$C(G) = \int \frac{\big(p_g(x) - m(x)\big)^2}{m(x)}\,dx = \chi^2_{\text{Pearson}}(p_g\,\|\,m),$$

то есть строка Пирсона из таблицы f-GAN, где $p_g$ стоит на месте $P$, а $m$ — на месте $Q$. Это повторяет тождество с JS для исходного GAN, которое сравнивает оба распределения с той же смесью через KL-дивергенции. $C(G)$ равна нулю, только когда $p_g = m$, то есть $p_g = p_{\text{data}}$. Mao et al. записывают ту же величину как $\chi^2_{\text{Pearson}}(p_{\text{data}} + p_g\,\|\,2p_g)$ (формула 7), с опорной мерой в качестве первого аргумента. Для двух гауссиан с рисунка $C(G) \approx 0.550$ (значение для игрушечного примера, полученное численным интегрированием).

Кодирование 0–1 этим условиям не удовлетворяет: в нём $b - c = 0$, и $2C(G) = \int p_g^2/(p_{\text{data}} + p_g)\,dx$, что при $p_g = p_{\text{data}}$ равно $\tfrac12$, а не $0$. Тем не менее минимум достигается именно там. Подынтегральное выражение выпукло по $p_g(x)$, а при $p_g = p_{\text{data}}$ его производная по $p_g(x)$, $(p_g^2 + 2p_g\,p_{\text{data}})/(p_{\text{data}} + p_g)^2$, равна $\tfrac34$ в каждой точке $x$ — это и есть условие оптимальности для выпуклой целевой функции при ограничении $\int p_g = 1$.

Сильные и слабые стороны#

Сильные стороны.

• Сэмплирование — один прямой проход генератора, а для обучения нужно только обратное распространение ошибки: ни марковских цепей, ни вывода латентных переменных во время обучения, ни вычислительно неразрешимых (intractable) интегралов (Goodfellow et al., 2014, раздел 6).
• Модель может представлять очень острые, даже вырожденные распределения (раздел 6). Ничто не усредняет правдоподобные изображения в размытое пятно, как это делает квадратичная ошибка гауссовского декодера.
• Та же игра допускает метки, другие дивергенции и другие функции потерь, как показывают расширения выше.

Слабые стороны.

• Нет плотности. У $p_g(x)$ нет явного выражения (раздел 6), поэтому правдоподобие тестовых данных вычислить нельзя, и сравнивать по нему модели тоже нельзя. Две функции потерь не измеряют качество сэмплов, и ясного критерия остановки нет. Для оценки качества нужны метрики, вычисляемые по сэмплам; им посвящены заметка об Inception Score и следующие за ней.
• Нет обратного пути. Генератор отображает $z$ в $x$, но ничто не отображает изображение обратно в его код. Чтобы найти код данного изображения, нужна оптимизация по $z$ или дополнительная сеть, обученная для этой цели.
• Неустойчивое обучение. Чередующиеся обновления могут колебаться, и двух игроков нужно держать в равновесии.
• Коллапс мод. Генератор может хорошо покрывать несколько мод и пропускать остальные.
• Запоминание (memorization). Генератор может воспроизводить обучающие изображения, поэтому сэмплы стоит сравнивать с ближайшими к ним обучающими изображениями. Radford et al. удалили дубликаты из своего самого большого обучающего набора, чтобы сделать запоминание менее вероятным (2016, раздел 4.1.1).

Ноутбук#

Ноутбук о GAN из репозитория HSE-LAMBDA Deep Generative Models (закреплённый коммит; ячейки нумеруются с 1, считая все ячейки подряд) реализует все три модели. В ноутбуке нет сохранённых выходов, поэтому он документирует процедуры, а не результаты.

• Ячейки 1–2: минимаксная целевая функция и список приёмов, которые использует ноутбук: одностороннее сглаживание меток, обрезка градиентов, дропаут в дискриминаторе, уменьшенная дисперсия латентной переменной при сэмплировании, сбалансированное соотношение числа обновлений и батч-нормализация в генераторе.
• Ячейки 5–16: безусловный GAN на изображениях цифры 0 из MNIST, приведённых к размеру $32\times32$ и отмасштабированных в $[-1, 1]$, размер батча 128 с drop_last=True.
  • Ячейка 9: сети. Латентная переменная — не вектор, а пространственная сетка, 4 канала на сетке $4 \times 4$, и сэмплируется она внутри метода forward генератора. Каждый UpsampleBlock удваивает разрешение билинейной интерполяцией, а затем дважды применяет свёртку $3 \times 3$, батч-нормализацию и LeakyReLU(0.2). Три блока переводят $4 \times 4$ в $32 \times 32$ с 32, 64 и 128 каналами, а свёртка $1 \times 1$ с Tanh даёт изображение. Каждый DownsampleBlock применяет свёртку $3 \times 3$ с шагом 2 и свёртку $3 \times 3$, после каждой из которых идут батч-нормализация, LeakyReLU(0.2) и Dropout2d(0.3), и три блока переводят $32 \times 32$ в $4 \times 4$. Дискриминатор полностью свёрточный: последняя свёртка $4 \times 4$ превращает карту $4 \times 4 \times 128$ в один логит. Строки документации (docstrings) говорят о четырёх блоках и о глобальном усреднении, но в коде три блока и никакого пулинга. В отличие от рекомендаций DCGAN, генератор использует LeakyReLU вместо ReLU и изменение размера со свёрткой вместо транспонированных свёрток, число каналов генератора с ростом разрешения растёт, а не уменьшается, а дискриминатор применяет батч-нормализацию сразу после первой свёртки.
  • Ячейка 10 задаёт гиперпараметры: шаг обучения $10^{-4}$ для обеих сетей, 30 эпох, один шаг дискриминатора на шаг генератора (update_ratio = 1), обрезка нормы градиента на уровне $1$ и одностороннее сглаживание меток $0.9$.
  • Ячейка 11 даёт рекомендации по соотношению числа обновлений, изложенные в разделе о балансе двух игроков.
  • Ячейка 12 строит сети и оптимизаторы: Adam с betas по умолчанию для $G$ и betas $(0.5, 0.999)$ для $D$, каждый со ступенчатым расписанием, которое уменьшает шаг обучения вдвое каждые 20 эпох.
  • Ячейка 13 — цикл обучения с binary_cross_entropy_with_logits. Функция потерь дискриминатора — среднее BCE на настоящих изображениях (целевое значение 0.9) и на отсоединённых от графа вычислений подделках (целевое значение 0); это $-V$ с точностью до множителя $\tfrac12$ и сглаживания. Функция потерь генератора — ненасыщающаяся BCE с меткой «настоящий». При этом сглаженное целевое значение $0.9$ используется и для генератора, так что точная функция потерь равна $-\mathbb{E}_z\big[0.9\ln D(G(z)) + 0.1\ln(1 - D(G(z)))\big]$ и минимальна при $D(G(z)) = 0.9$, а не $1$. Планировщики шага обучения вызываются раз в эпоху. Каждые 5 эпох цикл сохраняет контрольную точку (checkpoint) в weights/, как и условный цикл из ячейки 23; ноутбук нигде не создаёт эту папку, поэтому torch.save завершается ошибкой, если её ещё нет.
  • Ячейки 14–16 строят графики функций потерь, сэмплируют сетку изображений и перечисляют распространённые приёмы: одностороннее сглаживание меток, случайное инвертирование меток, батч-нормализацию в обеих сетях, «избегание разреженных градиентов» (avoiding sparse gradients) с помощью log-sigmoid (это форма функций потерь через логиты), а также коллапс мод и средства против него: дискриминацию по мини-батчу, историю прежних генераторов и WGAN. Ячейка 15 при сэмплировании умножает латентную переменную на $0.7$, поэтому сетка показывает генератор, применённый к априорному распределению с уменьшенной дисперсией, а не сэмплы из самого $p_g$, — это похожее на усечение сужение априорного распределения; ячейки 25 и 33 делают то же самое для двух других моделей.
• Ячейки 17–26: условный GAN на CIFAR-100. Ячейка 19 задаёт размер батча 32, шаг обучения $2\cdot10^{-4}$ и betas Adam $(0.5, 0.999)$ для обеих сетей, без расписания шага обучения, 30 эпох, сглаживание $0.9$ (снова и в целевом значении генератора) и обрезку градиентов на уровне $1$. В ячейке 22 генератор переводит метку в эмбеддинг слоем Embedding(100, 16) и переформирует его в один канал $4 \times 4$ рядом с 4 каналами шума, а дискриминатор — слоем Embedding(100, 1024), переформированным в один канал $32 \times 32$ рядом с RGB-изображением. Блоки те же, что в ячейке 9, с дропаутом 0.3 в дискриминаторе. Ячейка 23 чередует один шаг дискриминатора и один шаг генератора. Ячейка 26 перечисляет, что даёт условие: контроль над классом, сэмплы, сосредоточенные на признаках своего класса, и разнообразие между классами.
• Ячейки 27–33: f-GAN. Activation_g и Conjugate_f (ячейка 29) реализуют $g_f$ и $f^*$ из таблицы для "KLD", "RKL", "CHI", "SQH", "JSD" и "GAN" в том же соглашении: сопряжённая функция Пирсона равна $t^2/4 + t$. VLoss — среднее $g_f(v)$, а QLoss — среднее $-f^*(g_f(v))$. Ячейка 31 выбирает JS и повторно использует сети безусловной модели: шаг обучения $10^{-4}$, Adam с betas по умолчанию для $G$ и $(0.5, 0.999)$ для $D$, 100 эпох, без обрезки, сглаживания и расписания. В ячейке 32 генератор максимизирует $T$ на сгенерированных сэмплах, а не минимизирует относящееся к подделкам слагаемое оценки; это ненасыщающийся суррогат из абзаца о шаге генератора, а прямая форма оставлена закомментированной альтернативой. Два замечания о реализации. Активация и сопряжённая функция вычисляются одна за другой обычными exp и log. В 32-битной арифметике с плавающей точкой сопряжённые функции для JS и GAN возвращают $+\infty$, как только выход $v$ на подделке превышает примерно 17, потому что $2 - e^{t}$ или $1 - e^{t}$ округляется до $0$, а активация GAN возвращает $-\infty$ при $v$ ниже примерно $-89$, где exp(-v) переполняется. Композиции $\operatorname{softplus}(v) - \ln 2$ и $\operatorname{softplus}(v)$ избегают обеих проблем (сначала композиция, потом вычисление). Кроме того, loss_real.backward(retain_graph=True) сохраняет граф, который больше нигде не используется.
• Ячейки 34–36: выбор размерности латентного пространства (100-мерный вектор или небольшая сетка $4 \times 4$, разрешение которой удваивает каждый слой повышения разрешения), сравнение транспонированных свёрток с повышением разрешения и последующей свёрткой, сравнение вариантов (исходный GAN, WGAN, LSGAN, f-GAN и условный GAN), основные трудности и средства против них (штрафы на градиент, развёрнутые GAN и несколько дискриминаторов против коллапса мод; сглаживание меток, сбалансированные шаги обучения и спектральная нормализация для устойчивости; Inception Score, FID и KID для оценки качества), практические советы и список достоинств и недостатков. Основной текст разбирает их в разделах «Обучение GAN на практике», «GAN наименьших квадратов» и «Сильные и слабые стороны»; KID разобран вместе с FID.

Дальше#

Рассуждение о непересекающихся носителях показало, что JS не даёт градиента, когда носители не пересекаются, даже если сэмплы генератора близки к данным. Следующая заметка заменяет её расстоянием, которое непрерывно уменьшается по мере сближения двух распределений, — расстоянием Вассерштейна.

Литература#

• I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio. Generative adversarial nets. NeurIPS, 2014. Препринт arXiv:1406.2661.
• M. Arjovsky, L. Bottou. Towards principled methods for training generative adversarial networks. ICLR, 2017.
• T. Salimans, I. Goodfellow, W. Zaremba, V. Cheung, A. Radford, X. Chen. Improved techniques for training GANs. NeurIPS, 2016.
• M. Mirza, S. Osindero. Conditional generative adversarial nets. arXiv:1411.1784, 2014.
• S. Nowozin, B. Cseke, R. Tomioka. f-GAN: Training generative neural samplers using variational divergence minimization. NeurIPS, 2016.
• X. Nguyen, M. J. Wainwright, M. I. Jordan. Estimating divergence functionals and the likelihood ratio by convex risk minimization. IEEE Transactions on Information Theory, 56(11), 2010.
• I. Goodfellow. NIPS 2016 tutorial: Generative adversarial networks. arXiv:1701.00160, 2016.
• A. Radford, L. Metz, S. Chintala. Unsupervised representation learning with deep convolutional generative adversarial networks. ICLR, 2016. DCGAN; раздел 3: рекомендации по архитектуре; раздел 4: детали обучения.
• X. Mao, Q. Li, H. Xie, R. Y. K. Lau, Z. Wang, S. P. Smolley. Least squares generative adversarial networks. ICCV, 2017. Раздел 3.2: функции потерь, их преимущества и связь с χ² Пирсона.
• L. Metz, B. Poole, D. Pfau, J. Sohl-Dickstein. Unrolled generative adversarial networks. ICLR, 2017.
• I. Durugkar, I. Gemp, S. Mahadevan. Generative multi-adversarial networks. ICLR, 2017.
• A. Shrivastava, T. Pfister, O. Tuzel, J. Susskind, W. Wang, R. Webb. Learning from simulated and unsupervised images through adversarial training. CVPR, 2017. Раздел 2.3: история сгенерированных изображений для дискриминатора.
• M. Arjovsky, S. Chintala, L. Bottou. Wasserstein GAN. arXiv:1701.07875, 2017; ICML 2017.
• HSE-LAMBDA, репозиторий курса Deep Generative Models: GANs.ipynb.