Word2Vec

Предыдущая заметка показала, что в таблицах эмбеддингов слов (word embeddings), обученных библиотекой, слова, употребляемые в похожих контекстах, получают похожие векторы, но не объяснила почему. Слова, которые встречаются в одних и тех же контекстах, как правило, близки по смыслу (Harris, 1954; Firth, 1957), и модель, которая должна предсказывать соседей слова через узкое место (bottleneck), вынуждена давать словам с одинаковыми соседями похожие векторы в этом узком месте. Word2Vec (Mikolov et al., 2013a, 2013b) превращает это в две небольшие сети, которые можно обучать на миллиардах токенов благодаря иерархическому softmax (hierarchical softmax) или негативному сэмплированию (negative sampling); в этой заметке мы разбираем негативное сэмплирование — тот приём, который используется на практике.

Обозначения. Корпус — последовательность токенов $w_1, \dots, w_T$ из словаря $V$; $d$ — размерность эмбеддинга. Для позиции $t$ центральное слово — это $w_t$, а контекст — окно $C_t = (w_{t+j})_{j \in J_t}$, где $J_t = \{j : 1 \le |j| \le m,\ 1 \le t + j \le T\}$, — до $2m$ соседей, повторы сохраняются; $m$ — радиус окна. У каждого слова $w$ два вектора: входной (центральный) вектор $v_w \in \mathbb R^d$, строка матрицы $W_{\text{in}} \in \mathbb R^{|V| \times d}$, и выходной (контекстный) вектор $u_w \in \mathbb R^d$, строка матрицы $W_{\text{out}} \in \mathbb R^{|V| \times d}$. $W_{\text{in}}$ — это таблица эмбеддингов $E$ из предыдущей заметки. $\sigma(x) = 1/(1 + e^{-x})$; $k$ — число негативных примеров (negative samples), а $P_n$ — распределение, из которого их сэмплируют.

Базовый вариант: обучить эмбеддинги на размеченной задаче#

В предыдущей заметке перечислены источники таблицы. Обучение её как слоя классификатора работает (это проверено в заметке о CNN), но таблица узнаёт только о словах из размеченного набора и только то, что помогает предсказать метку. Размеченного текста мало; неразмеченного почти неограниченно много. Что должна предсказывать модель, когда метки нет?

Сеть, первый слой которой — таблица#

Для ключевой идеи достаточно двухслойной линейной сети. Для входного слова $c$ и целевого слова $o$:

1. берём one-hot-вектор $e_c \in \{0, 1\}^{|V|}$ слова $c$;
2. умножаем его на первый слой: $h = W_{\text{in}}^\top e_c = v_c \in \mathbb R^d$ — строку слова $c$ (без смещения и без нелинейности);
3. сравниваем с $h$ каждое слово словаря: $s = W_{\text{out}}\, h \in \mathbb R^{|V|}$, так что $s_w = u_w \cdot v_c$;
4. превращаем оценки (scores) в распределение с помощью softmax:

$$p(o \mid c) = \frac{\exp(u_o \cdot v_c)}{\sum_{w \in V}\exp(u_w \cdot v_c)}.$$

Сеть обучается с кросс-энтропией $-\log p(o \mid c)$ на парах (вход, цель), вырезанных из корпуса; затем всё, кроме первого слоя, выбрасывается, и эмбеддинг — это строка $v_c$. В коде произведение на one-hot-вектор — это выборка строки по индексу: батч индексов $[B]$ превращается в $[B, d]$, затем в $[B, |V|]$. У модели $2|V|d$ параметров.

Рисунок

Сеть Word2Vec: выбор строки, скалярное произведение с каждым выходным вектором, softmax

Две таблицы нужны потому, что с одной оценка слова в паре с самим собой, $\|v_w\|^2$, была бы большой, хотя слово редко встречается в собственном окне; две таблицы позволяют сделать $u_w \cdot v_w$ малым (Goldberg and Levy, 2014). Библиотеки возвращают $W_{\text{in}}$ (wv в gensim).

Две задачи предсказания: CBOW и skip-gram#

Сеть оставляет открытым вопрос, какие слова служат входами, а какие — целями. Word2Vec определяет два варианта на одних и тех же окнах.

Непрерывный мешок слов (continuous bag of words, CBOW) предсказывает центральное слово по его контексту: среднее входных векторов контекста классифицируется среди $|V|$ возможных центральных слов:

$$h_t = \frac{1}{|J_t|}\sum_{j \in J_t} v_{w_{t+j}}, \qquad p(w_t \mid C_t) = \frac{\exp(u_{w_t} \cdot h_t)}{\sum_{w' \in V}\exp(u_{w'} \cdot h_t)}.$$

«Мешок» — потому что среднее игнорирует порядок слов; каждая позиция даёт один пример.

Skip-gram меняет направление: центральное слово предсказывает каждое контекстное слово по отдельности с помощью softmax из предыдущего раздела, минимизируя

$$\mathcal L_{\text{SG}} = -\frac{1}{T}\sum_{t=1}^T \sum_{j \in J_t} \log p(w_{t+j} \mid w_t).$$

Каждая позиция даёт до $2m$ пар (центральное слово, контекстное слово).

Рисунок

Одно окно, две задачи предсказания

Разобранный пример: обучающие пары. В предложении we drink hot coffee every morning ($T = 6$, $m = 2$) центральное слово coffee даёт четыре пары skip-gram и один пример CBOW, в котором среднее четырёх векторов контекста предсказывает coffee (рисунок выше). У позиции $i$ есть $\min(m, i - 1) + \min(m, T - i)$ соседей, так что предложение даёт $2 + 3 + 4 + 4 + 3 + 2 = 18$ пар skip-gram против 6 примеров CBOW.

Нейросетевая языковая модель (Bengio et al., 2003) тоже начинается с таблицы эмбеддингов, но предсказывает следующее слово, как n-граммная модель, через дорогой нелинейный скрытый слой. Word2Vec нужна только таблица, поэтому он отказывается от нелинейности и использует контекст с обеих сторон.

CBOW вычисляет одно выходное распределение на позицию, а skip-gram — до $2m$, так что CBOW дешевле примерно во столько раз, сколько слов в окне, но в сравнении Mikolov et al. (2013a), §3.1–3.2 и таблица 3 (640-мерные векторы), skip-gram был намного лучше на семантических аналогиях (55% против 24%) и немного хуже на синтаксических (59% против 64%). Также отмечают, что он лучше для редких слов (страница проекта word2vec), векторы которых CBOW обновляет только через среднее с не более чем $2m - 1$ другими.

Для каждого центрального слова эффективный радиус выбирается равномерно из $\{1, \dots, m\}$ (Mikolov et al., 2013a, §3.2), поэтому сосед на расстоянии $j$ используется с вероятностью $(m - j + 1)/m$ ($1, 0.8, 0.6, 0.4, 0.2$ при $m = 5$): ближние соседи получают больший вес без явного взвешивания.

Почему проблема в softmax#

Запишем функцию потерь skip-gram одной пары $(c, o)$ как $-\log p(o \mid c) = -u_o \cdot v_c + \log \sum_{w \in V} \exp(u_w \cdot v_c)$. Производная log-sum-exp по $v_c$ — это взвешенное по softmax среднее векторов $u_w$, а по одному $u_w$ — это $p(w \mid c)\, v_c$:

$$\begin{aligned} \frac{\partial\,(-\log p(o \mid c))}{\partial v_c} &= -u_o + \sum_{w \in V} p(w \mid c)\, u_w, \\ \frac{\partial\,(-\log p(o \mid c))}{\partial u_w} &= \big(p(w \mid c) - \mathbb 1[w = o]\big)\, v_c . \end{aligned}$$

Первая строка читается как «наблюдаемое минус ожидаемое»: шаг притягивает $v_c$ к контекстному слову, которое встретилось, и отталкивает от того, которое ожидает модель. Вторая ненулевая для каждого $w$, поэтому одна пара обновляет все $|V|$ строк $W_{\text{out}}$, а одному лишь нормировочному знаменателю нужны $|V|$ скалярных произведений (Rong, 2014).

При $|V| = 200\,000$ и $d = 300$ у модели $2|V|d = 1.2 \times 10^8$ параметров. Одна пара стоит $|V| d = 6 \times 10^7$ умножений-сложений на оценки и обновляет $|V| d + d = 60\,000\,300$ параметров, а корпус из $10^9$ токенов при $m = 5$ даёт до $10^{10}$ пар за один проход. Сама модель невелика; обучение невозможно из-за нормировки.

Рисунок

Сколько параметров затрагивает одна обучающая пара при росте словаря

Иерархический softmax (Morin and Bengio, 2005) размещает словарь в листьях бинарного дерева (дерева Хаффмана, Mikolov et al., 2013b, §2.1), так что предсказание требует около $\log_2 |V|$ бинарных решений, 18 для 200 000 слов. Негативное сэмплирование отказывается от нормировки; на практике это вариант по умолчанию, и ему посвящена оставшаяся часть заметки.

Негативное сэмплирование#

Рисунок

Softmax и негативное сэмплирование на выходной стороне skip-gram

Для наблюдаемой пары $(c, o)$ и шумовых слов $n_1, \dots, n_k \sim P_n$ функция потерь skip-gram с негативным сэмплированием (skip-gram negative sampling, SGNS) равна

$$\mathcal L_{\text{NS}}(c, o) = -\log \sigma(u_o \cdot v_c) - \sum_{i=1}^k \log \sigma(-u_{n_i} \cdot v_c).$$

$\sigma(u_w \cdot v_c)$ — вероятность, которую модель приписывает тому, что пара настоящая, а $\sigma(-x) = 1 - \sigma(x)$, так что каждый член суммы — логарифм вероятности того, что шумовая пара будет распознана как подделка. С оценками $s_o = u_o \cdot v_c$ и $s_i = u_{n_i} \cdot v_c$ и с учётом $\frac{d}{dx}\log\sigma(x) = 1 - \sigma(x)$ градиенты равны

$$\begin{aligned} \frac{\partial \mathcal L_{\text{NS}}}{\partial v_c} &= \big(\sigma(s_o) - 1\big)\, u_o + \sum_{i=1}^k \sigma(s_i)\, u_{n_i}, \\ \frac{\partial \mathcal L_{\text{NS}}}{\partial u_o} &= \big(\sigma(s_o) - 1\big)\, v_c, \qquad \frac{\partial \mathcal L_{\text{NS}}}{\partial u_{n_i}} = \sigma(s_i)\, v_c . \end{aligned}$$

Это «наблюдаемое минус ожидаемое», в котором математическое ожидание по $|V|$ словам заменено на $k$ сэмплированных слов, каждое из которых взвешено тем, насколько правдоподобным его считает модель; у всех остальных строк градиент нулевой.

CBOW использует ту же функцию потерь, в которой вместо центрального вектора стоит среднее контекста $h_t$, а положительным примером служит центральное слово:

$$\mathcal L_{\text{CBOW-NS}}(t) = -\log \sigma(u_{w_t} \cdot h_t) - \sum_{i=1}^k \log \sigma(-u_{n_i} \cdot h_t).$$

Её градиенты — те же, что выше, с $h_t$ вместо $v_c$. Цепное правило через среднее отправило бы каждому вектору контекста $1/|J_t|$ градиента по $h_t$; word2vec.c (страница проекта word2vec) и gensim (cbow_mean=1) добавляют его целиком, что равносильно большему шагу обучения для входной таблицы.

Пара обновляет $(k + 2) d$ параметров, $2\,100$ при $d = 300$ и $k = 5$. Mikolov et al. (2013b), §2.2, сообщают, что для небольших обучающих наборов подходят $k$ от 5 до 20, а для больших — от 2 до 5; gensim использует $k = 5$.

Разобранный пример#

Игрушечные числа: $d = 2$, $k = 2$, шаг обучения $\eta = 0.5$ (большой, чтобы движение было заметно), центральное слово coffee, наблюдаемое контекстное слово drink, негативные car и tax.

Вектор	Значение	Оценка с $v_{\text{coffee}}$	$\sigma(\text{оценка})$	Член функции потерь
$v_{\text{coffee}}$	$(1.0, 0.5)$
$u_{\text{drink}}$ (наблюдаемое)	$(0.8, 0.6)$	$1.10$	$0.750$	$-\log \sigma(1.10) = 0.287$
$u_{\text{car}}$ (негативное)	$(-0.2, 0.9)$	$0.25$	$0.562$	$-\log \sigma(-0.25) = 0.826$
$u_{\text{tax}}$ (негативное)	$(0.6, -0.4)$	$0.40$	$0.599$	$-\log \sigma(-0.40) = 0.913$

Функция потерь равна $0.287 + 0.826 + 0.913 = 2.026$, а градиенты равны

• $\partial \mathcal L / \partial v_{\text{coffee}} = -0.250\,(0.8, 0.6) + 0.562\,(-0.2, 0.9) + 0.599\,(0.6, -0.4) = (0.047, 0.117)$;
• $\partial \mathcal L / \partial u_{\text{drink}} = -0.250\,(1.0, 0.5) = (-0.250, -0.125)$;
• $\partial \mathcal L / \partial u_{\text{car}} = 0.562\,(1.0, 0.5) = (0.562, 0.281)$ и $\partial \mathcal L / \partial u_{\text{tax}} = 0.599\,(1.0, 0.5) = (0.599, 0.299)$.

Один шаг $x \leftarrow x - \eta\, \partial\mathcal L/\partial x$ даёт $v_{\text{coffee}} = (0.977, 0.442)$, $u_{\text{drink}} = (0.925, 0.662)$, $u_{\text{car}} = (-0.481, 0.759)$ и $u_{\text{tax}} = (0.301, -0.550)$; два рисунка ниже показывают, как движутся векторы и оценки, а функция потерь падает с $2.026$ до $1.611$. Изменились четыре строки; при 200 000 слов остальные 199 997 выходных строк даже не читались.

Рисунок

Один шаг негативного сэмплирования на плоскости

Рисунок

Два члена функции потерь негативного сэмплирования в зависимости от оценки

Для сравнения — полный softmax по игрушечному словарю из шести слов с тем же $v_{\text{coffee}}$: drink $(0.8, 0.6)$, hot $(0.7, 0.1)$, morning $(0.3, 0.5)$, car $(-0.2, 0.9)$, tax $(0.6, -0.4)$ и cup $(0.9, 0.2)$. Оценки равны $1.10, 0.75, 0.55, 0.25, 0.40, 1.00$, вероятности — $0.243, 0.171, 0.140, 0.104, 0.121, 0.220$, а функция потерь — $-\log 0.243 = 1.414$. Градиенту по $v_{\text{coffee}}$, $\sum_w p(w \mid c)\, u_w - u_{\text{drink}} = (-0.193, -0.277)$, нужны все шесть строк, и он понижает cup — правдоподобный контекст, стоящий на втором месте; негативное сэмплирование понижает слово, только когда оно выпало.

Какие слова становятся негативными#

Негативные слова сэмплируются из униграммного распределения (unigram distribution), возведённого в степень $3/4$ и заново нормированного (Mikolov et al., 2013b, §2.2):

$$P_n(w) = \frac{\operatorname{count}(w)^{3/4}}{\sum_{w' \in V} \operatorname{count}(w')^{3/4}} .$$

С игрушечными числами вхождений the 600, coffee 30 и espresso 3 сэмплирование пропорционально числу вхождений даёт вероятности $0.948, 0.047, 0.005$, а степень $3/4$ — $0.889, 0.094, 0.017$: вероятность выбрать espresso становится в 3.5 раза выше.

Рисунок

Униграммное распределение в степени 3/4

Прореживание частых слов#

Пар с the или a очень много, и они малоинформативны. Перед тем как формировать окна, каждое вхождение слова $w$ с относительной частотой $f(w)$ отбрасывается с вероятностью

$$P_{\text{discard}}(w) = 1 - \sqrt{\theta / f(w)}$$

при пороге $\theta \approx 10^{-5}$ и никогда не отбрасывается при $f(w) \le \theta$ (Mikolov et al., 2013b, §2.3). Для игрушечных частот $0.05$, $10^{-3}$ и $10^{-4}$ вероятности отбрасывания равны $0.986$, $0.9$ и $0.68$. Удаление токена сближает слова вокруг него, поэтому прореживание (subsampling) также расширяет эффективное окно. gensim использует вариант этого правила с порогом sample, по умолчанию $10^{-3}$.

Что оптимизирует негативное сэмплирование#

Негативное сэмплирование оптимизирует другую целевую функцию, нежели softmax, — упрощённый вариант шумоконтрастного оценивания (noise-contrastive estimation, NCE) (Gutmann and Hyvärinen, 2010; Mnih and Teh, 2012). NCE классифицирует по исправленному логиту $u_o \cdot v_c - \log\big(k\, P_n(o)\big)$ и в оптимуме даёт $\log P(o \mid c)$. Негативное сэмплирование использует сырую оценку (Mikolov et al., 2013b, §2.2), поэтому его оптимум сдвинут: если $d$ достаточно велико, чтобы каждую оценку можно было задать независимо, он равен поточечной взаимной информации (pointwise mutual information, PMI), сдвинутой на $\log k$ (Levy and Goldberg, 2014, §3.1):

$$u_o \cdot v_c = \operatorname{PMI}(c, o) - \log k, \qquad \operatorname{PMI}(c, o) = \log \frac{P(c, o)}{P(c)\, P_n(o)} .$$

Со степенью $3/4$ это сглаженная PMI: редкие контекстные слова получают большее $P_n(o)$ и меньшее значение (Levy, Goldberg and Dagan, 2015, «сглаживание распределения контекстов», context distribution smoothing).

Рисунок

Целевая функция негативного сэмплирования для одной пары и её минимум

Итак, SGNS раскладывает матрицу сдвинутой PMI в произведение $W_{\text{in}} W_{\text{out}}^\top$ ранга $d$, и это сжатие сближает слова с похожими строками PMI. У пар, которые никогда не встречаются вместе, $\operatorname{PMI} = -\infty$ (точечная кривая), поэтому там разложение остаётся приближённым при любом $d$.

Чему учится небольшая модель на вопросах Quora#

Возьмём около полумиллиона вопросов Quora, токенизированных без стоп-слов, но со знаками препинания, такими как ?, и обучим модель с $d = 32$, радиусом окна 5 и минимальной частотой 5. Всё остальное — значения gensim по умолчанию (таблица ниже), так что это CBOW с негативным сэмплированием, $k = 5$, и прореживанием.

У вектора слова word 32 координаты от $-4.09$ до $4.18$ (норма 10.7), а его ближайшие соседи по косинусной близости, приведённые в предыдущей заметке, — sentence (0.836), words (0.796) и verb (0.787). Формы единственного и множественного числа стоят рядом (word/words, phrase/phrases), потому что текст не лемматизировался. Соседи тематические не меньше, чем грамматические, потому что без стоп-слов и с прореженным ? окно радиуса 5 покрывает большую часть вопроса, чем пять исходных токенов.

Вторая модель CBOW, 100-мерная, с минимальной частотой 4 и радиусом окна 5, обучается только на обучающих статьях AG News, чтобы слова тестовой выборки не просочились; она даёт входные векторы для следующей заметки.

Гиперпараметры и что они делают#

Параметр	Что делает	По умолчанию в gensim	Модели Quora и AG News
vector_size $d$	Ёмкость; обычный диапазон 50–300	100	32 (Quora), 100 (AG News)
window $m$	Радиус; более широкие окна дают более тематических соседей, более узкие — более синтаксических (Jurafsky and Martin, §5.7)	5	5
min_count	Отбрасывает более редкие слова; задаёт $\lvert V \rvert$	5	5 (Quora), 4 (AG News)
sg	0 = CBOW, 1 = skip-gram	0	по умолчанию
negative $k$	Число негативных примеров на пару; 0 вместе с hs=1 даёт иерархический softmax	5	по умолчанию
ns_exponent	Показатель степени частот в $P_n$	0.75	по умолчанию
sample	Порог прореживания частых слов	$10^{-3}$	по умолчанию
epochs, alpha	Число проходов по корпусу; начальный шаг обучения	5, 0.025	по умолчанию

С подобранными окном, прореживанием, числом негативных примеров и показателем степени шума методы, основанные на подсчётах, и SGNS дают гораздо более близкие результаты, чем предполагали исходные сравнения (Levy, Goldberg and Dagan, 2015).

Что изменилось#

	Эмбеддинги, обученные на задаче	Word2Vec с полным softmax	Word2Vec с негативным сэмплированием
Обучающий сигнал	Метки одной задачи	Сам текст	Сам текст
Доступные данные	Тысячи размеченных примеров	Миллиарды токенов	Миллиарды токенов
Покрытие словаря	Слова из размеченного набора	Слова корпуса	Слова корпуса
Выход на шаге	$K$ классов меток	softmax по $\lvert V \rvert$ классам	$k + 1$ бинарных классификаторов
Параметров затрагивается на пару ($\lvert V \rvert = 200\,000$, $d = 300$)	—	60 000 300	2100 ($k = 5$)
Что кодируют векторы	Всё, что разделяет метки	Структуру совместной встречаемости	Сдвинутую PMI, сжатую до ранга $d$

Результат — таблица, которую может переиспользовать любая модель.

GloVe и FastText#

У двух более поздних статических эмбеддингов есть собственные заметки. GloVe (Pennington, Socher and Manning, 2014), который дал векторы Twitter из предыдущей заметки, подгоняет $u_w \cdot v_c + b_w + b_c \approx \log X_{wc}$ к матрице совместной встречаемости $X$ взвешенным методом наименьших квадратов; как и SGNS, он подгоняет функцию от частот совместной встречаемости скалярными произведениями, поэтому они оказываются близки (заметка о GloVe). FastText (Bojanowski et al., 2017) обучает SGNS, но представляет слово как сумму векторов его символьных n-грамм (where → <wh, whe, her, ere, re>), поэтому у родственных слов есть общие параметры, а незнакомое слово всё равно получает вектор (заметка о FastText).

Ограничения#

• Статичность. Один вектор на слово словаря: bank — единый компромисс между берегом реки и банком. Это устраняет заметка о BERT.
• Закрытый словарь. Слова ниже порога min_count или отсутствующие в корпусе не получают вектора; эту проблему решают FastText и токенизация на подслова (subword).
• Привязка к окну. Вектор формируют только соседи в пределах $m$ позиций, а CBOW игнорирует их порядок; отрицание и дальние зависимости не учитываются.
• Сходство означает взаимозаменяемость. good и bad, hot и cold, Monday и Tuesday встречаются в одних и тех же контекстах и оказываются близки — неподходящая геометрия для анализа тональности.
• Требовательность к данным. Полмиллиона вопросов хватает для частых слов, таких как word, но не для редких; аналогии из предыдущей заметки используют миллиарды токенов.
• Чувствительность и невоспроизводимость. Предобработка, окно, прореживание и $k$ меняют соседей, а многопоточные запуски с одним seed дают разные результаты.

Что нужно запомнить#

• Skip-gram предсказывает контекст по центральному слову, CBOW — центральное слово по контексту. Сеть линейна; её первый слой $W_{\text{in}}$ — это таблица эмбеддингов, а выходной слой лишь даёт обучающий сигнал.
• Полный softmax обновляет все $|V|$ выходных строк на каждую пару; негативное сэмплирование классифицирует настоящую пару против $k$ пар, сэмплированных из униграммного распределения в степени $3/4$, и обновляет $(k + 2) d$ параметров.
• В оптимуме SGNS выставляет $u_o \cdot v_c = \operatorname{PMI}(c, o) - \log k$: векторы — низкоранговое сжатие статистики совместной встречаемости.
• gensim по умолчанию обучает CBOW с $k = 5$ негативными примерами; для skip-gram нужен sg=1.

Ноутбук#

week01_word_embeddings.ipynb. Ячейки нумеруются с 1, включая текстовые. Приведённые числа взяты из прогона, сохранённого в курсе; у ячеек, изменённых с тех пор под текущие версии библиотек, сохранённого выхода нет.

• Данные (ячейки 4–31). Ячейка 4 скачивает файл с вопросами Quora, только если его нет (в репозитории он уже лежит); ячейка 6 читает data/quora.txt с диска. Ячейки 13–22 строят data_tok: wordpunct_tokenize, приведение к нижнему регистру (упражнение в ячейке 15, решение уже вписано), удаление стоп-слов NLTK, знаки препинания остаются. Лемматизированные и стеммированные варианты 537 272 вопросов (ячейки 28–31) Word2Vec не использует.
• Обучение (ячейки 53–58). Текстовые ячейки вводят skip-gram и gensim (Alammar, 2019); ячейка 58 обучает Word2Vec(data_tok, vector_size=32, min_count=5, window=5), что со значениями по умолчанию даёт CBOW с 5 негативными примерами и описанным выше суммирующим обновлением контекста (cbow_mean=1), а не skip-gram.
• Соседи (ячейки 59–60). Вектор слова word и его ближайшие соседи — единственные сохранённые выходы этой модели: ни кривая функции потерь, ни время обучения, ни размер словаря, ни метрика качества не сохранены. Норма 10.7, приведённая выше, вычислена по напечатанным координатам.
• Аналогии (ячейки 61–66). Предобученные 100-мерные векторы GloVe Twitter и аналогии, приведённые в предыдущей заметке.

week02_NN_text_classification.ipynb, ячейки 13–15, обучает 100-мерную модель CBOW (min_count=4, window=5) только на обучающих текстах AG News, чтобы слова тестовой выборки не просочились, и превращает каждую статью в последовательность векторов для следующей заметки.

Дальше#

Word2Vec учится по одному окну за раз и никогда не смотрит на корпус целиком. Следующая заметка один раз подсчитывает все пары слов в матрицу совместной встречаемости, подгоняет векторы прямо к логарифмам этих частот и показывает, что оба подхода в итоге раскладывают почти одну и ту же матрицу.

Литература#

• Z. S. Harris. Distributional Structure. Word, 10(2–3), 146–162, 1954. DOI 10.1080/00437956.1954.11659520. Дистрибутивная гипотеза.
• J. R. Firth. A synopsis of linguistic theory 1930–1955. In Studies in Linguistic Analysis, Blackwell, 1957.
• Y. Bengio, R. Ducharme, P. Vincent, C. Jauvin. A Neural Probabilistic Language Model. JMLR, 3, 2003. Предсказание следующего слова со слоем эмбеддингов.
• F. Morin, Y. Bengio. Hierarchical Probabilistic Neural Network Language Model. AISTATS, 2005. Иерархический softmax.
• M. Gutmann, A. Hyvärinen. Noise-contrastive estimation: A new estimation principle for unnormalized statistical models. AISTATS, 2010.
• A. Mnih, Y. W. Teh. A Fast and Simple Algorithm for Training Neural Probabilistic Language Models. ICML, 2012. Шумоконтрастное оценивание для языковых моделей.
• T. Mikolov, K. Chen, G. Corrado, J. Dean. Efficient Estimation of Word Representations in Vector Space. ICLR Workshop, 2013. CBOW и skip-gram, их вычислительная сложность обучения (§3.1–3.2) и сравнение (таблица 3), случайный радиус окна (§3.2).
• T. Mikolov, I. Sutskever, K. Chen, G. Corrado, J. Dean. Distributed Representations of Words and Phrases and their Compositionality. NeurIPS, 2013. Иерархический softmax с деревом Хаффмана (§2.1), негативное сэмплирование, диапазон $k$ и степень $3/4$ (§2.2), прореживание (§2.3).
• Y. Goldberg, O. Levy. word2vec Explained: deriving Mikolov et al.’s negative-sampling word-embedding method. arXiv, 2014. Целевая функция негативного сэмплирования и причина двух таблиц.
• O. Levy, Y. Goldberg. Neural Word Embedding as Implicit Matrix Factorization. NeurIPS, 2014. SGNS как разложение матрицы сдвинутой PMI (§3.1).
• X. Rong. word2vec Parameter Learning Explained. arXiv, 2014. Градиенты softmax для CBOW и skip-gram.
• J. Pennington, R. Socher, C. D. Manning. GloVe: Global Vectors for Word Representation. EMNLP, 2014.
• O. Levy, Y. Goldberg, I. Dagan. Improving Distributional Similarity with Lessons Learned from Word Embeddings. TACL, 3, 2015. Гиперпараметры важны не меньше алгоритма; сглаживание распределения контекстов (степень $3/4$ как сглаженная PMI).
• P. Bojanowski, E. Grave, A. Joulin, T. Mikolov. Enriching Word Vectors with Subword Information. TACL, 5, 2017. FastText.
• D. Jurafsky, J. H. Martin. Speech and Language Processing, 3rd edition draft of August 19, 2026, chapter 5 “Embeddings”, §5.5 “Word2vec” and §5.7 “Semantic properties of embeddings”. Учебное изложение skip-gram с негативным сэмплированием; влияние размера окна.
• T. Mikolov et al. word2vec. Project page and reference C implementation (word2vec.c), Google Code Archive, 2013. Практическое сравнение skip-gram и CBOW («better for infrequent words»); обновление CBOW, которое добавляет весь градиент скрытого слоя к каждому вектору контекста.
• R. Řehůřek, P. Sojka. Software Framework for Topic Modelling with Large Corpora. LREC Workshop on New Challenges for NLP Frameworks, 2010. Библиотека gensim; значения по умолчанию — из её документации Word2Vec API.
• J. Starmer (StatQuest). Word Embedding and Word2Vec, Clearly Explained!!!. Видео, 2023. Объяснение стоимости одного обновления и того, как негативное сэмплирование её снижает, следует этому видео.
• J. Alammar. The Illustrated Word2vec. Пост в блоге, 2019. Иллюстрированный разбор skip-gram с негативным сэмплированием.