Курс / 04
Обработка естественного языка
Один путь от сырого текста к современным LLM-системам. Каждая заметка говорит, что она добавляет: исправление ограничения предыдущего метода или новую задачу, цель обучения или компонент системы.
Что нужно знать: машинное обучение до нейросетей (логистическая регрессия, кросс-энтропия, обратное распространение) и основы Python. Разделы «Ноутбук» описывают открытые ноутбуки курса; заметки читаются и без них. Результаты из разных заметок сравнимы, только если в заметке сказано, что протокол у них общий.
- 01
Основы работы с текстом
Как текст становится входом модели и как измерить результат.
После раздела: Превращать текст в токены и разбиения, не ломая Unicode, метки и оценку, и говорить, в каких единицах измерены потери или перплексия.
Опубликовано заметок: 4 из 4 - 02
Классический NLP
Подсчёт слов — сильный baseline; подсчёт последовательностей даёт первую языковую модель.
После раздела: Строить классификатор на TF-IDF и сглаженную n-граммную модель: два сильных базовых решения для двух разных вопросов.
Опубликовано заметок: 2 из 2 - 03
Распределённые представления
От one-hot векторов к плотным векторам, которые несут смысл.
После раздела: Объяснять, какие контексты и подслова обновляют какие векторы и чего не может выразить статический вектор.
Опубликовано заметок: 4 из 4 - 04
Нейросетевые модели последовательностей
Модели, читающие последовательность, и узкое место, которое снимает внимание.
После раздела: Различать локальные шаблоны, рекуррентное состояние и выравнивание, а обучение с teacher forcing — от декодирования.
Опубликовано заметок: 5 из 5 - 05
Трансформеры
Внимание как единственная операция смешивания и всё, что нужно, чтобы это работало.
После раздела: Вычислять вручную одну строку внимания и прослеживать маски, размерности и сдвинутую цель через трансформер.
Опубликовано заметок: 4 из 4 - 06
Предобученные языковые модели
Цели обучения, которые превращают неразмеченный текст в переиспользуемые модели.
После раздела: Отличать архитектуру от цели предобучения: маскированной, каузальной или обеих.
Опубликовано заметок: 4 из 4 - 07
Адаптация и эффективные модели
Как изменить предобученную модель, не платя за неё дважды.
После раздела: Выбирать между полным дообучением, параметрически эффективными методами, инструктивным дообучением и квантизацией по тому, что каждый меняет и сколько стоит.
Опубликовано заметок: 4 из 4 - 08
Задачи NLP
Общие предобученные представления и выход под задачу: голова классификатора, разметчика или спанов либо декодер, который порождает ответ.
После раздела: Выбирать структуру выхода под задачу и сравнивать модели только по общему протоколу.
Опубликовано заметок: 5 из 5 - 09
Современные LLM-системы
Системы вокруг языковой модели и оценка системы целиком.
После раздела: Оценивать поиск, генерацию и вызов инструментов по отдельности, а затем систему целиком.
Опубликовано заметок: 4 из 4 - 10
Продвинутая генерация
Генерация текста без порядка слева направо.
После раздела: Ответвление, а не лекарство: порождать текст не слева направо и сравнивать такой подход с маскированными и каузальными моделями.
Опубликовано заметок: 1 из 1