Fréchet Inception Distance

Inception Score смотрит только на сгенерированные изображения: он проверяет, уверенно ли классификатор предсказывает класс каждого изображения и разнообразны ли предсказанные классы. Похожи ли изображения на обучающие данные, он не проверяет никогда. Fréchet Inception Distance (FID) из работы Heusel et al. (2017) закрывает этот пробел. Настоящие и сгенерированные изображения пропускаются через одну и ту же предобученную сеть Inception, каждый набор признаков сводится к вектору средних и ковариационной матрице, и измеряется, насколько далеко друг от друга эти две сводки.

Обозначения. Нижний индекс $r$ отмечает настоящие изображения, а $g$ — сгенерированные. $\varphi(x)$ — вектор признаков Inception для изображения $x$, $\|\cdot\|_2$ — евклидова норма. Как и в заметке о гауссовских распределениях, векторы средних и матрицы набраны полужирным: $\boldsymbol\mu$ — вектор средних, $\boldsymbol\Sigma$ — ковариационная матрица, $\mathbf I$ — единичная матрица.

Формула#

$$\begin{aligned} \mathrm{FID} &= \|\boldsymbol\mu_r - \boldsymbol\mu_g\|_2^2 \\ &\quad + \operatorname{Tr}\!\Big(\boldsymbol\Sigma_r + \boldsymbol\Sigma_g - 2\,(\boldsymbol\Sigma_r \boldsymbol\Sigma_g)^{1/2}\Big) \end{aligned}$$

• $\boldsymbol\mu_r, \boldsymbol\mu_g$ — средние векторы признаков настоящих и сгенерированных изображений.
• $\boldsymbol\Sigma_r, \boldsymbol\Sigma_g$ — их ковариационные матрицы.

Это определение из Heusel et al. (2017), формула (6). Для $N_r$ настоящих изображений $x_1, \dots, x_{N_r}$ (и так же для сгенерированного набора) обе сводки — обычные выборочные оценки:

$$\begin{gathered} \boldsymbol\mu_r = \tfrac{1}{N_r}\sum_{i=1}^{N_r} \varphi(x_i), \\ \boldsymbol\Sigma_r = \tfrac{1}{N_r - 1}\sum_{i=1}^{N_r} (\varphi(x_i) - \boldsymbol\mu_r)(\varphi(x_i) - \boldsymbol\mu_r)^{\top}. \end{gathered}$$

По сути мы приближаем каждое распределение признаков гауссианой — $\mathcal N(\boldsymbol\mu_r, \boldsymbol\Sigma_r)$ для настоящих изображений и $\mathcal N(\boldsymbol\mu_g, \boldsymbol\Sigma_g)$ для сгенерированных — и сравниваем две гауссианы. Heusel et al. обосновывают этот выбор принципом максимума энтропии (maximum entropy; Heusel et al., 2017, текст перед формулой 6). Среди всех плотностей на $\mathbb R^d$ с заданными средним и ковариацией наибольшую дифференциальную энтропию имеет гауссиана (Cover and Thomas, 2006, теорема 8.6.5). Поэтому гауссиана — распределение, которое делает меньше всего допущений сверх двух моментов, сохраняемых FID: подгонка не добавляет никакой структуры помимо них.

Эмбеддинги берутся до softmax. Признаки — это не вероятности классов, которые использует IS, а активации внутри сети. Heusel et al. используют в качестве кодирующего слоя (coding layer) последний слой пулинга Inception v3 (Szegedy et al., 2016). В их коде TTUR это слой pool3, выход которого поступает в классификационный выходной слой (head): 2048 чисел на изображение (рисунок 1). Вероятности классов отбросили бы бо́льшую часть того, что сеть видит в изображении, а предпоследний слой сохраняет более богатое описание, чем 1000 вероятностей классов, хотя и он сформирован классами ImageNet (см. Недостатки).

Рисунок

Как вычисляется FID

Как читать два члена#

• Член средних $\|\boldsymbol\mu_r - \boldsymbol\mu_g\|_2^2$ измеряет, насколько далеко друг от друга центры двух облаков признаков.
• Член ковариаций $\operatorname{Tr}(\cdot)$ измеряет, насколько по-разному облака разбросаны и ориентированы. Он никогда не бывает отрицательным и обращается в нуль, только когда $\boldsymbol\Sigma_r = \boldsymbol\Sigma_g$. Оба факта следуют из интерпретации через расстояние Вассерштейна ниже: при равных средних формула сводится к этому члену, так что он равен квадрату расстояния $W_2$ между $\mathcal N(\mathbf 0, \boldsymbol\Sigma_r)$ и $\mathcal N(\mathbf 0, \boldsymbol\Sigma_g)$. $W_2$ — метрика (Peyré and Cuturi, 2019, предложение 2.3), поэтому это расстояние неотрицательно и равно нулю только для одинаковых распределений, здесь — для одинаковых ковариаций.

Итак, чем меньше FID, тем ближе подогнанные гауссианы, то есть тем ближе средние и ковариации двух облаков признаков. FID = 0 означает равные средние и равные ковариации, а не одинаковые распределения признаков (см. Недостатки).

Рисунок

Два члена FID на двумерном примере

Проверка в одномерном случае#

Для скалярных признаков $\boldsymbol\Sigma$ превращается в дисперсию $\sigma^2$, квадратный корень из матрицы — в обычный квадратный корень, $\sqrt{\sigma_r^2\sigma_g^2} = \sigma_r\sigma_g$, поскольку стандартные отклонения неотрицательны, а след исчезает:

$$\begin{aligned} \sigma_r^2 + \sigma_g^2 - 2\sigma_r\sigma_g &= (\sigma_r - \sigma_g)^2 , \\ \mathrm{FID}_{1\text{D}} &= (\mu_r - \mu_g)^2 + (\sigma_r - \sigma_g)^2 . \end{aligned}$$

Член ковариаций равен квадрату разности стандартных отклонений. Возьмём настоящие признаки $\mathcal N(0, 1)$ и сгенерированные признаки $\mathcal N(0.5, 2^2)$:

$$\begin{aligned} \mathrm{FID} &= (0 - 0.5)^2 + \big(1 + 4 - 2\cdot 1\cdot 2\big) \\ &= 0.25 + 1 = 1.25 . \end{aligned}$$

Генератор со слишком большим разбросом сэмплов штрафуется так же, как сдвинутый. Так же штрафуется и генератор со слишком узким разбросом. У модели, которая каждый раз выдаёт почти одно и то же изображение (коллапс мод, mode collapse), $\sigma_g \to 0$, и член ковариаций стремится к $\sigma_r^2$, даже если среднее верное.

То же верно в $d$ измерениях для изотропных ковариаций $\boldsymbol\Sigma_r = \sigma_r^2\mathbf I$ и $\boldsymbol\Sigma_g = \sigma_g^2\mathbf I$. Тогда $(\boldsymbol\Sigma_r\boldsymbol\Sigma_g)^{1/2} = \sigma_r\sigma_g\mathbf I$, и каждый из $d$ диагональных элементов даёт вклад $(\sigma_r - \sigma_g)^2$, так что член ковариаций равен $d(\sigma_r - \sigma_g)^2$. Рисунок 3 показывает случай $d = 2$ с $\sigma_r = 1$, $\sigma_g = s$ и сдвигом среднего $m$, так что $\mathrm{FID} = m^2 + 2(1 - s)^2$.

Рисунок

FID при сдвиге и сжатии сгенерированной гауссианы

Двумерный пример в числах#

На рисунке 2 взяты параметры

$$\begin{aligned} \boldsymbol\mu_r &= \begin{pmatrix}0\\0\end{pmatrix}, & \boldsymbol\Sigma_r &= \begin{pmatrix}1 & 0.6\\ 0.6 & 0.8\end{pmatrix}, \\ \boldsymbol\mu_g &= \begin{pmatrix}1.2\\0.6\end{pmatrix}, & \boldsymbol\Sigma_g &= \begin{pmatrix}0.45 & -0.1\\ -0.1 & 0.35\end{pmatrix}. \end{aligned}$$

Обе ковариации здесь положительно определённые ($\det\boldsymbol\Sigma_r = 0.44$, $\det\boldsymbol\Sigma_g = 0.1475$, диагонали положительны). Единственный нетривиальный шаг — квадратный корень из матрицы. Остаток этого абзаца и следующая формула обосновывают его замкнутый вид, $\operatorname{Tr} \mathbf M^{1/2} = \sqrt{\operatorname{Tr} \mathbf M + 2\sqrt{\det \mathbf M}}$; это дополнительный математический материал, и тот, кто готов принять формулу на веру, может сразу перейти к таблице. Произведение $\mathbf M = \boldsymbol\Sigma_r\boldsymbol\Sigma_g$ не симметрично. Поскольку $\boldsymbol\Sigma_r$ обратима, оно подобно симметричной положительно определённой матрице $\boldsymbol\Sigma_r^{1/2}\boldsymbol\Sigma_g\boldsymbol\Sigma_r^{1/2}$:

$$\mathbf M = \boldsymbol\Sigma_r^{1/2}\big(\boldsymbol\Sigma_r^{1/2}\boldsymbol\Sigma_g\boldsymbol\Sigma_r^{1/2}\big)\boldsymbol\Sigma_r^{-1/2} .$$

Значит, $\mathbf M$ диагонализуема с положительными собственными значениями $\lambda_1, \lambda_2$, а её главный квадратный корень (principal square root) $\mathbf M^{1/2}$ имеет те же собственные векторы и собственные значения $\sqrt{\lambda_1}, \sqrt{\lambda_2}$. Для матрицы $2\times 2$ это даёт формулу в замкнутом виде. Квадрат суммы двух корней равен $\lambda_1 + \lambda_2 + 2\sqrt{\lambda_1\lambda_2}$, а сумма и произведение собственных значений — это след и определитель:

$$\begin{aligned} \operatorname{Tr} \mathbf M^{1/2} &= \sqrt{\lambda_1} + \sqrt{\lambda_2} \\ &= \sqrt{\lambda_1 + \lambda_2 + 2\sqrt{\lambda_1\lambda_2}} \\ &= \sqrt{\operatorname{Tr} \mathbf M + 2\sqrt{\det \mathbf M}} . \end{aligned}$$

Величина	Значение
$\lVert\boldsymbol\mu_r - \boldsymbol\mu_g\rVert_2^2 = 1.2^2 + 0.6^2$	$1.80$
$\mathbf M = \boldsymbol\Sigma_r\boldsymbol\Sigma_g$	$\begin{pmatrix}0.39 & 0.11\\ 0.19 & 0.22\end{pmatrix}$
$\operatorname{Tr} \mathbf M,\ \det \mathbf M$	$0.61,\ 0.0649$
$\operatorname{Tr} \mathbf M^{1/2} = \sqrt{0.61 + 2\sqrt{0.0649}}$	$1.058$
$\operatorname{Tr}\boldsymbol\Sigma_r + \operatorname{Tr}\boldsymbol\Sigma_g - 2\operatorname{Tr} \mathbf M^{1/2} = 1.8 + 0.8 - 2.116$	$0.484$
FID	$2.284$

На практике признаки 2048-мерные, и квадратный корень вычисляется численно, например с помощью scipy.linalg.sqrtm. В отличие от симметричного корня $\boldsymbol\Sigma^{1/2}$ из заметки о гауссовских распределениях, $(\boldsymbol\Sigma_r\boldsymbol\Sigma_g)^{1/2}$ — главный квадратный корень несимметричной матрицы. В арифметике с плавающей точкой он может получиться с крошечными мнимыми частями, которые реализации отбрасывают, если они пренебрежимо малы (иначе TTUR выдаёт ошибку). Если вычисленный корень содержит бесконечные значения, потому что произведение почти вырождено, к обеим ковариациям добавляют малую матрицу $\varepsilon\mathbf I$ и вычисляют корень заново (см. calculate_frechet_distance в коде TTUR).

FID — расстояние Вассерштейна между двумя гауссианами#

Расстояние Вассерштейна-2 (2-Wasserstein distance) между распределениями $P$ и $Q$ на $\mathbb R^d$ с конечными вторыми моментами равно

$$W_2^2(P, Q) = \inf_{\gamma \in \Pi(P, Q)} \mathbb{E}_{(x, y)\sim\gamma}\,\|x - y\|_2^2 ,$$

где $\Pi(P, Q)$ — множество транспортных планов с маргинальными распределениями $P$ и $Q$, как в заметке о WGAN; конечность вторых моментов гарантирует, что инфимум конечен. Это то же семейство транспортных расстояний, что и $W_1$, но стоимость в нём — квадрат евклидова расстояния, а не само расстояние. Для двух гауссиан инфимум выражается в замкнутом виде (Dowson and Landau, 1982), и это выражение и есть формула FID:

$$\mathrm{FID} = W_2^2\big(\mathcal N(\boldsymbol\mu_r, \boldsymbol\Sigma_r),\ \mathcal N(\boldsymbol\mu_g, \boldsymbol\Sigma_g)\big).$$

FID — это квадрат расстояния, поэтому внешнего квадратного корня в нём нет. Морис Фреше изучал это расстояние между распределениями вероятностей (Fréchet, 1957), поэтому его также называют расстоянием Фреше; именно к нему отсылает буква «F» в FID.

Сравнение с Inception Score#

В отличие от IS, FID сравнивает сгенерированные изображения с настоящими данными.

	Inception Score	FID
Цель	уверенность и разнообразие сгенерированных изображений	близость сгенерированных изображений к настоящим
Используемые данные	только сгенерированные изображения	настоящие и сгенерированные изображения
Что сравнивается	каждое $p(y \mid x)$ с маргинальным $p(y)$	гауссиана, подогнанная к настоящим признакам, и гауссиана, подогнанная к сгенерированным
Расстояние	KL-дивергенция	квадрат расстояния Фреше (Вассерштейна-2)
Лучше	больше	меньше

Недостатки#

• Гауссовское приближение. Признаки Inception не распределены нормально: эмбеддинги типичного набора изображений имеют много мод (Jayasumana et al., 2024, §3.3). Два распределения признаков с одинаковыми средним и ковариацией, но разной формой получают FID 0, потому что сравниваются только первые два момента. Jayasumana et al. строят такую пару из гауссианы и смеси гауссиан с одинаковыми общими средним и ковариацией (§3.2, таблица 2).
• Данные, не похожие на ImageNet. Сеть обучена на фотографиях ImageNet, поэтому для далёких от них данных, например медицинских изображений, набросков или спектрограмм, ничто не гарантирует, что её признаки улавливают то, что делает изображение хорошим. Одно из решений — вычислять то же расстояние в признаках энкодера, обученного на данных этой области (ниже). Даже там, где FID — стандартная метрика, признаки остаются привязанными к классам ImageNet. На лицах FFHQ FID сильнее всего реагирует на области вне лица, где классификатор распознаёт объекты ImageNet, например галстуки-бабочки, ремни безопасности или академические шапочки (Kynkäänniemi et al., 2023, §2, рисунок 4). Если отобрать сгенерированные изображения повторной выборкой (resampling) так, чтобы их статистики классов ImageNet совпадали со статистиками настоящих, FID снижается без видимого улучшения изображений: примерно на 10%, когда совпадают только гистограммы классов Top-1, и примерно на две трети на FFHQ (с 5.30 до 1.78), когда совпадают сами признаки pool3 (§3, таблицы 1–2).
• Одно число для двух свойств. FID смешивает реалистичность сэмплов и то, какую часть вариативности данных они покрывают (Kynkäänniemi et al., 2023, §1). Худшее значение может объясняться нереалистичными сэмплами, которые сдвигают облако признаков и меняют его форму, или недостаточным разнообразием, которое его сжимает (рисунок 3), поэтому два генератора с одинаковым FID могут ошибаться по-разному. Метрики точности и полноты (precision / recall) показывают эти два свойства по отдельности (Sajjadi et al., 2018).
• Не замечает запоминания (memorization). Heusel et al. вычисляют статистики настоящих изображений по всей обучающей выборке. Генератор, который возвращает случайно выбранные обучающие изображения, воспроизводит их среднее и ковариацию с точностью до шума выборки, поэтому его FID близок к 0, хотя он не выучил ничего сверх самих данных. Та же слабость есть у Inception Score. Чтобы обнаружить копии, нужно сравнивать отдельные изображения, например искать ближайшего соседа в обучающей выборке по перцептивному расстоянию вроде LPIPS.
• Нужны тысячи изображений. У ковариационной матрицы 2048 × 2048 есть $2048\cdot 2049/2 = 2\,098\,176$ свободных элементов. При $N \le 2048$ изображениях выборочная ковариация вырождена (её ранг не больше $N - 1$), и вычисление квадратного корня из матрицы становится численно неустойчивым. При нескольких тысячах изображений оценка всё ещё шумная. Она смещена вверх, и смещение зависит от генератора, поэтому фиксированный размер выборки смягчает проблему, но не устраняет её: два генератора, оценённые с одним и тем же $N$, могут ранжироваться по смещению, а не по качеству (Chong and Forsyth, 2020, §3.1, рисунок 2). Chong и Forsyth экстраполируют по $1/N$ и получают практически несмещённое $\mathrm{FID}_\infty$ (§3.2). Heusel et al. использовали 50 000 сгенерированных изображений; обычно берут 10 000 или 50 000.
• Чувствителен к предобработке. Изменение размера до входного размера сети (фильтр масштабирования и его сглаживание, antialiasing), 8-битное квантование и сжатие JPEG меняют признаки, и значения FID, вычисленные разными конвейерами, несравнимы (Parmar, Zhang and Zhu, 2022, §3).

По каким изображениям вычисляется FID?#

Стандартный FID вычисляется один раз, по всем сгенерированным и всем настоящим изображениям, а не по классам и не по парам изображений. Мы собираем все настоящие изображения в одно облако признаков, а все сгенерированные — в другое, подгоняем к каждому облаку по гауссиане и сравниваем две гауссианы. FID не нужны метки классов, и ни одно сгенерированное изображение не сопоставляется с конкретным настоящим. (Условные генераторы иногда оценивают с помощью intra-FID — FID, вычисленного отдельно внутри каждого класса между сгенерированными и настоящими изображениями этого класса (Miyato and Koyama, 2018, §5.1), но это отдельный вариант.) Поскольку FID сравнивает распределения, а не пары, ему нужны большие выборки, о которых говорилось выше. Отдельные изображения попарно сравнивает LPIPS.

FID с собственным энкодером#

Ничто в формуле не зависит от Inception: ей нужен вектор признаков $\varphi(x)$ для каждого изображения, а дать его может любой энкодер. Для данных, не похожих на ImageNet, естественный выбор — энкодер, обученный на данных самой этой области, например энкодер автоэнкодера, обученного на этих данных; Bińkowski et al. (2018), §4, оценивают модели на MNIST по признакам классификатора MNIST в духе LeNet вместо Inception. Цена — сравнимость. Расстояние, вычисленное с одним энкодером, можно сравнивать только с расстояниями, вычисленными с тем же энкодером, тем же слоем и той же предобработкой. Строго говоря, это уже не FID, ведь буква I означает Inception: это расстояние Фреше в признаках названного энкодера и слоя. Стандартный FID — это протокол с Inception, и значение, полученное с другим энкодером, нельзя сравнивать с опубликованными FID. Ниже «FID» в формулах — сокращение для этого расстояния в признаках.

Расстояния между классами как проверка. Прежде чем доверять новому энкодеру, применим его только к настоящим изображениям. Разобьём размеченный набор данных по классам, подгоним гауссиану к признакам каждого класса и вычислим расстояние Фреше для каждой пары классов. Для $K$ классов получается матрица $K \times K$, у которой нужно проверить три свойства:

• Нулевая диагональ. У класса, сравниваемого с самим собой, средние и ковариации равны, поэтому оба члена обращаются в нуль. Численное вычисление квадратного корня из матрицы оставляет малые значения любого знака, поэтому проверке нужен небольшой допуск.
• Симметричность. $W_2$ — метрика, поэтому $\mathrm{FID}(a, b) = \mathrm{FID}(b, a)$.
• Смысловой порядок. Если признаки несут смысл, похожие классы ближе друг к другу, чем непохожие. На CIFAR-10 следует ожидать $\mathrm{FID}(\text{самолёт}, \text{корабль}) < \mathrm{FID}(\text{самолёт}, \text{лягушка})$ и $\mathrm{FID}(\text{грузовик}, \text{автомобиль}) < \mathrm{FID}(\text{грузовик}, \text{собака})$.

Размер выборки здесь важнее, чем для стандартного FID. В CIFAR-10 по 1000 тестовых изображений на класс, поэтому ковариация каждого класса оценивается по 1000 векторам и имеет ранг не больше $999$. Значит, энкодер с кодом из 1000 чисел или больше даёт вырожденные ковариации, и вычисление квадратного корня из матрицы становится неустойчивым (Нужны тысячи изображений). Добавление $\varepsilon\mathbf I$ к обеим ковариациям с малым $\varepsilon$, например $10^{-6}$, делает вычисление устойчивым ценой небольшого смещения; код меньшего размера позволяет избежать проблемы.

Тот же энкодер можно применить и к изображениям, на которых он не обучался, например к двум классам фотографий из другого набора данных. Тогда результат — расстояние в признаках, выученных на обучающей области, и эти признаки могут не улавливать того, что отличает новые классы: это то же ограничение, что и у признаков Inception на данных, не похожих на ImageNet, только в обратном направлении.

Kernel Inception Distance: несмещённая альтернатива#

Kernel Inception Distance (KID) из работы Bińkowski et al. (2018), §4, сохраняет признаки Inception, но отказывается от подгонки гауссиан. Это квадрат максимального расхождения средних (maximum mean discrepancy, MMD) между настоящими и сгенерированными признаками с кубическим полиномиальным ядром (kernel)

$$k(u, v) = \Big(\tfrac1d\, u^{\top} v + 1\Big)^{3},$$

где $d$ — размерность признаков ($2048$ для pool3). Для распределений признаков $P$ и $Q$

$$\mathrm{MMD}^2(P, Q) = \mathbb E\,k(u, u') + \mathbb E\,k(v, v') - 2\,\mathbb E\,k(u, v),$$

где $u, u' \sim P$ и $v, v' \sim Q$ независимы. Если раскрыть куб, $k$ оказывается суммой скалярных произведений $(u^\top v)^j$, $j = 0, \dots, 3$, с положительными весами, а $(u^\top v)^j$ — это скалярное произведение $j$-х тензорных степеней $u$ и $v$. Поэтому $\mathrm{MMD}^2$ — взвешенная сумма квадратов разностей между моментами $P$ и $Q$ порядков от 1 до 3, и она равна нулю тогда и только тогда, когда эти моменты совпадают. FID сравнивает первые два момента; KID сравнивает также третьи моменты, в том числе асимметрию (skewness), и не предполагает никакой параметрической формы.

Пусть $u_1, \dots, u_m$ — признаки настоящих изображений, а $v_1, \dots, v_n$ — сгенерированных. KID оценивается как

$$\begin{aligned} \widehat{\mathrm{KID}} = {}& \frac{1}{m(m-1)}\sum_{i \ne j} k(u_i, u_j) + \frac{1}{n(n-1)}\sum_{i \ne j} k(v_i, v_j) \\ &- \frac{2}{mn}\sum_{i=1}^{m}\sum_{j=1}^{n} k(u_i, v_j) . \end{aligned}$$

Исключение слагаемых с $i = j$ делает каждое среднее несмещённой оценкой своего математического ожидания (Gretton et al., 2012, лемма 6), поэтому оценка $\widehat{\mathrm{KID}}$ несмещённая при любом размере выборки. В этом её главное преимущество перед FID, оценка которого смещена вверх на величину, зависящую от генератора (Нужны тысячи изображений); несмещённой оценки FID не существует (Bińkowski et al., приложение D.3). Если сравнивать обучающую и тестовую выборки CIFAR-10 — две выборки из одного распределения, — оценка KID распределена вокруг $0$ при каждом из показанных размеров выборки, а оценка FID даже на всех 10 000 тестовых изображениях всё ещё около $8.1$ (Bińkowski et al., §4, рисунок 1). Цена несмещённости в том, что оценка может быть слегка отрицательной, когда два распределения близки.

Двойные суммы стоят $O(n^2 d)$ операций для $n$ изображений в каждом наборе против $O(nd^2 + d^3)$ для ковариаций и квадратного корня из матрицы в FID. Поэтому Bińkowski et al. рекомендуют усреднять оценку по нескольким подмножествам умеренного размера: в их экспериментах усредняются 100 подмножеств по 1000 изображений (§5). Как и FID, KID зависит от того, что улавливают признаки, обученные на ImageNet, и чем он меньше, тем лучше.

Ноутбук#

Ноутбук о метриках из репозитория HSE-LAMBDA Deep Generative Models (закреплённый коммит; ячейки нумеруются с 1, считая все ячейки подряд, в том числе текстовые) описывает FID в ячейке 5: признаки из промежуточных слоёв предобученной сети, «часто Inception v3», гауссиана, подогнанная к настоящим и к сгенерированным признакам (там они записаны как $\mathcal N(\mu_1, \Sigma_1)$ и $\mathcal N(\mu_2, \Sigma_2)$), и расстояние Фреше между ними. Стандартный FID использует один слой — 2048-мерный выход pool3, описанный выше. Ячейка 6 сравнивает IS, FID и LPIPS в таблице; таблица сравнения IS и FID выше основана на ней. Сам ноутбук о метриках FID не вычисляет. KID упоминается в репозитории только по названию — в заключительном обсуждении ноутбука о GAN (ячейка 35), рядом с IS и FID.

Расстояние Фреше в признаках, названное там FID, вычисляется в домашнем задании 1 из того же репозитория (нумерация ячеек та же), причём вместо Inception используется энкодер автоэнкодера, обученного на CIFAR-10 (часть об автоэнкодере описана в заметке об автоэнкодерах). В ноутбуке нет сохранённых выходов, а ячейки для решений пусты, поэтому он документирует только процедуру.

• Ячейки 35–38: формула FID и get_representations, которая сопоставляет каждому классу валидационной выборки список из 1000 выходов энкодера.
• Ячейка 39: calculate_fid(repr1, repr2, eps=1e-6), которую пишет студент; значение eps по умолчанию играет роль $\varepsilon$, добавляемого к ковариациям выше.
• Ячейки 40–41: матрица FID $10 \times 10$ между классами и её тепловая карта. Проверки: все элементы больше $-10^{-5}$, $\mathrm{FID}(\text{самолёт}, \text{корабль}) < \mathrm{FID}(\text{самолёт}, \text{лягушка})$ и $\mathrm{FID}(\text{грузовик}, \text{автомобиль}) < \mathrm{FID}(\text{грузовик}, \text{собака})$. Матрица вычисляется целиком, хотя симметрия сократила бы работу вдвое, а диагональ известна.
• Ячейка 42: FID между двумя классами любого другого набора данных (например, кошками и собаками) с тем же энкодером, обученным на CIFAR.

Дальше#

IS, FID и KID оценивают набор изображений целиком. Иногда нужно расстояние между двумя отдельными изображениями, согласованное с человеческим восприятием, например чтобы сравнить сгенерированное или восстановленное изображение с эталоном или обучить сеть с перцептивной функцией потерь. Такое расстояние даёт LPIPS.

Литература#

• M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, S. Hochreiter. GANs trained by a two time-scale update rule converge to a local Nash equilibrium. NeurIPS, 2017. Вводит FID: раздел Experiments, абзац «Performance Measure» (обоснование через максимум энтропии и формула (6)); абзац «Model Selection and Evaluation» (последний слой пулинга как кодирующий слой, статистики настоящих изображений по всей обучающей выборке, 50 000 сгенерированных изображений). Код: fid.py в репозитории TTUR.
• D. C. Dowson, B. V. Landau. The Fréchet distance between multivariate normal distributions. Journal of Multivariate Analysis, 12(3), pp. 450–455, 1982. Замкнутая формула для расстояния Фреше ($W_2$) между двумя гауссианами.
• M. Fréchet. Sur la distance de deux lois de probabilité. Comptes rendus hebdomadaires des séances de l’Académie des sciences, Paris, 244, pp. 689–692, 1957. Том оцифрован в коллекции Comptes rendus на Gallica (1957, том 244, первая часть).
• T. M. Cover, J. A. Thomas. Elements of Information Theory, 2nd ed. Wiley, 2006. Теорема 8.6.5: при заданной ковариации гауссиана максимизирует дифференциальную энтропию.
• G. Peyré, M. Cuturi. Computational optimal transport. Foundations and Trends in Machine Learning, 11(5–6), 2019. Предложение 2.3: $W_p$ — расстояние.
• C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna. Rethinking the Inception architecture for computer vision. CVPR, 2016.
• M. J. Chong, D. Forsyth. Effectively unbiased FID and Inception Score and where to find them. CVPR, 2020. §3.1 и рисунок 2: смещение $\mathrm{FID}_N$ зависит от генератора; §3.2: экстраполяция к $\mathrm{FID}_\infty$.
• G. Parmar, R. Zhang, J.-Y. Zhu. On aliased resizing and surprising subtleties in GAN evaluation. CVPR, 2022. §3.2 (изменение размера), §3.3 (квантование и сжатие).
• S. Jayasumana, S. Ramalingam, A. Veit, D. Glasner, A. Chakrabarti, S. Kumar. Rethinking FID: Towards a better evaluation metric for image generation. CVPR, 2024. §3.2–3.3: предположение о нормальности и причины, по которым оно не выполняется.
• T. Kynkäänniemi, T. Karras, M. Aittala, T. Aila, J. Lehtinen. The role of ImageNet classes in Fréchet Inception Distance. ICLR, 2023. §1: FID смешивает качество и вариативность; §2 и рисунок 4: к чему FID чувствителен на изображениях FFHQ; §3, таблицы 1–2: повторная выборка, подгоняющая статистики классов ImageNet, снижает FID.
• M. S. M. Sajjadi, O. Bachem, M. Lucic, O. Bousquet, S. Gelly. Assessing generative models via precision and recall. NeurIPS, 2018.
• T. Miyato, M. Koyama. cGANs with projection discriminator. ICLR, 2018. §5.1: intra-FID.
• M. Bińkowski, D. J. Sutherland, M. Arbel, A. Gretton. Demystifying MMD GANs. ICLR, 2018. §4: Kernel Inception Distance, его кубическое ядро и несмещённая оценка, рисунок 1 (смещение оценки FID на CIFAR-10), сноска 12 (вычислительная стоимость) и признаки LeNet для MNIST; §5: KID, усреднённый по 100 подмножествам из 1000 изображений; приложение D.3: несмещённой оценки FID не существует.
• A. Gretton, K. M. Borgwardt, M. J. Rasch, B. Schölkopf, A. Smola. A kernel two-sample test. JMLR, 13, pp. 723–773, 2012. Лемма 6: квадрат MMD и его несмещённая оценка.
• HSE-LAMBDA, репозиторий курса Deep Generative Models: metrics.ipynb, GANs.ipynb и 01_hw_AE-and-FID.ipynb.