Содержание поста-книги "Трансформеры (183-стр. pdf, 6 Jupyter-тетрадок), 1-я часть"
ГЛАВА 1. ПРИВЕТ, ТРАНСФОРМЕРЫ 5
Структура кодировщика-декодировщика 6
Механизмы внимания 8
Трансферное обучение в NLP 10
Библиотека Transformers от Hugging Gace: преодоление разрыва 14
Обзор кейсов применения библиотеки Transformers 15
Классификация текста (Text Classification) 15
Распознавание именованных сущностей (Named Entity Recognition) 16
Вопросно-ответные системы (Question Answering) 17
Аннотирование (Summarization) 18
Перевод (Translation) 19
Генерация текста (Text Generation) 19
Экосистема Hugging Face 20
Hugging Face Hub 21
Hugging Face Tokenizers 23
Hugging Face Datasets 24
Hugging Face Accelerate 25
Основные проблемы, возникающие с трансформерами 25
Заключение 26
ГЛАВА 2. КЛАССИФИКАЦИЯ ТЕКСТА 28
Набор данных 29
Знакомство с библиотекой Datasets от Hugging Face 30
От библиотеки Datasets к датафреймам 33
Анализируем распределение классов 34
Какова длина наших твитов? 35
От текста к токенам 36
Токенизация символов 37
Токенизация слов 39
Токенизация подслов 41
Токенизация всего набора данных 43
Обучение классификатора текста 46
Трансформеры как инструменты извлечения признаков 48
Тонкая настройка трансформеров 56
Заключение 65
ГЛАВА 3. АНАТОМИЯ ТРАНСФОРМЕРА 67
Архитектура трансформера 67
Кодировщик 70
Самовнимание 71
Слой прямого распространения 82
Добавление нормализации слоев 83
Позиционные эмбеддинги 85
Добавление классификационной головы 87
Декодировщик 88
Встречаем трансформеры 91
Семейное древо трансформеров 91
Ветвь «кодировщик» 92
Ветвь «декодировщик» 96
Ветвь «кодировщик-декодировщик» 97
Заключение 99
ГЛАВА 4. МНОГОЯЗЫЧНОЕ РАСПОЗНАВАНИЕ ИМЕНОВАННЫХ СУЩНОСТЕЙ 100
Набор данных 101
Многоязычные трансформеры 106
Более пристальный взгляд на токенизацию 107
Конвейер токенизатора 108
Токенизатор SentencePiece 110
Трансформеры для распознавания именованных сущностей 111
Анатомия классов-моделей библиотеки Transformers 112
Тела и головы 113
Создание пользовательской модели для классификации токенов 114
Загрузка пользовательской модели 116
Токенизация текстов для NER 118
Метрики качества 121
Тонкая настройка XLM-RoBERTa 122
Анализ ошибок 124
Межъязыковой перенос 131
Когда перенос с нулевым количеством примеров имеет смысл? 132
Тонкая настройка на нескольких языках сразу 135
Взаимодействие с виджетами модели 137
Заключение 138
ГЛАВА 5. ГЕНЕРАЦИЯ ТЕКСТА 139
Проблема генерации связного текста 142
Декодирование с помощью жадного поиска 144
Декодирование с помощью лучевого поиска 147
Семплирование с температурой 151
Семплирование top-k и ядерное семплирование (семплирование top-p, семплирование с ограничением маловероятных токенов) 154
Какой метод декодирования лучше? 157
Заключение 157
ГЛАВА 6. АННОТИРОВАНИЕ ТЕКСТА 159
Набор данных CNN/DailyMail 159
Конвейеры аннотирования текста 160
Базовая модель аннотирования 161
GPT-2 161
T5 162
BART 163
PEGASUS 163
Сравнение аннотаций, полученных с помощью разных трансформеров 164
Оценка качества сгенерированного текста 166
BLEU 167
ROUGE 171
Оценка качества PEGASUS на наборе данных CNN/DailyMail 173
Обучение модели аннотирования 175
Оценка качества PEGASUS на наборе данных SAMSum 176
Тонкая настройка модели PEGASUS 177
Генерация аннотаций диалогов 181
Заключение 183
трансформеры
пост_книга_"трансформеры"
nlp