Содержание поста-книги "Руководство по графовым нейронным сетям в Python (327-стр. pdf, 16 Jupyter-тетрадок)"
ЧАСТЬ 1. ВВЕДЕНИЕ В ОБУЧЕНИЕ НА ГРАФАХ 7
ГЛАВА 1. НАЧАЛО РАБОТЫ С ОБУЧЕНИЕМ НА ГРАФАХ 8
Почему именно графы? 8
Зачем использовать обучение на графах? 10
Зачем использовать графовые нейронные сети? 13
Выводы 16
Дополнительное чтение 17
ГЛАВА 2. ТЕОРИЯ ГРАФОВ ДЛЯ ГРАФОВЫХ НЕЙРОННЫХ СЕТЕЙ 18
Технические требования 18
Знакомство со свойствами графа 18
Ориентированные графы (directed graphs) 19
Взвешенные графы (weighted graphs) 20
Связные графы (connected graphs) 22
Типы графов 23
Знакомство с основными понятиями теории графов 25
Фундаментальные объекты 25
Меры центральности для графов 27
Представление графа в виде матрицы смежности 28
Изучение графовых алгоритмов 31
Поиск в ширину (breadth-first search) 31
Поиск в глубину (depth-first search) 33
Выводы 35
ЧАСТЬ 2. ОСНОВЫ 36
ГЛАВА 3. СОЗДАНИЕ ПРЕДСТАВЛЕНИЙ УЗЛОВ С ПОМОЩЬЮ DEEPWALK 37
Технические требования 37
Знакомство с Word2Vec 37
CBOW против skip-gram 39
Создание скип-грамм 40
Модель skip-gram 42
DeepWalk и случайные блуждания 46
Реализация DeepWalk 49
Выводы 54
Дополнительное чтение 55
ГЛАВА 4. УЛУЧШЕНИЕ ЭМБЕДДИНГОВ С ПОМОЩЬЮ СМЕЩЕННЫХ СЛУЧАЙНЫХ БЛУЖДАНИЙ В NODE2VEC 56
Технические требования 56
Знакомство с Node2Vec 56
Определение окрестности 57
Внесение смещений в случайные блуждания 58
Реализация Node2Vec 63
Создание рекомендательной системы фильмов 68
Выводы 73
Дополнительное чтение 73
ГЛАВА 5. ВКЛЮЧЕНИЕ ИНФОРМАЦИИ О ХАРАКТЕРИСТИКАХ УЗЛОВ С ПОМОЩЬЮ ПРОСТЫХ НЕЙРОННЫХ СЕТЕЙ 74
Технические требования 74
Знакомство с графовыми наборами данных 74
Набор данных Cora 75
Набор данных Facebook Page-Page 77
Классификация узлов с помощью простых нейронных сетей 80
Классификация узлов с помощью простых графовых нейронных сетей 85
Выводы 91
Дополнительное чтение 91
ГЛАВА 6. ЗНАКОМСТВО С ГРАФОВЫМИ СВЕРТОЧНЫМИ НЕЙРОННЫМИ СЕТЯМИ 92
Технические требования 92
Создание сверточного слоя графа 92
Сравнение сверточных и линейных слоев графа 97
Прогнозирование веб-трафика с помощью регрессии узлов 102
Выводы 110
Дополнительное чтение 110
ГЛАВА 7. ГРАФОВЫЕ НЕЙРОННЫЕ СЕТИ С МЕХАНИЗМОМ ВНИМАНИЯ 112
Технические требования 112
Знакомство со слоем внимания графа 112
Линейное преобразование 113
Функция активации 114
Нормализация с помощью softmax 114
Многоголовое внимание 115
Улучшенный слой внимания графа 116
Реализация слоя внимания графа в NumPy 117
Реализация GAT в PyTorch Geometric 121
Выводы 128
ЧАСТЬ 3. ПРОДВИНУТЫЕ МЕТОДЫ 129
ГЛАВА 8. МАСШТАБИРОВАНИЕ ГРАФОВЫХ НЕЙРОННЫХ СЕТЕЙ С ПОМОЩЬЮ GRAPHSAGE 130
Технические требования 130
Знакомство с GraphSAGE 131
Семплирование соседей 131
Агрегация 134
Классификация узлов на примере набора данных PubMed 136
Индуктивное обучение на белок-белковых взаимодействиях 142
Выводы 148
Дополнительное чтение 149
ГЛАВА 9. ОПРЕДЕЛЕНИЕ ВЫРАЗИТЕЛЬНОСТИ ДЛЯ КЛАССИФИКАЦИИ ГРАФОВ 150
Технические требования 150
Определение выразительности 150
Знакомство с графовой сетью изоморфизма 153
Классификация графов с помощью графовой сети изоморфизма 155
Классификация графов 155
Реализация графовой сети изоморфизма (GIN) 156
Выводы 165
Дополнительное чтение 166
ГЛАВА 10. ПРОГНОЗИРОВАНИЕ СВЯЗЕЙ С ПОМОЩЬЮ ГРАФОВЫХ НЕЙРОННЫХ СЕТЕЙ 167
Технические требования 167
Прогнозирование связей с помощью традиционных методов 168
Эвристические методы 168
Матричная факторизация 170
Прогнозирование связей с помощью эмбеддингов узлов 172
Знакомство с графовыми автоэнкодерами 172
Знакомство с вариационными графовыми автоэнкодерами 173
Реализация VGAE 174
Прогнозирование связей с помощью SEAL 177
Знакомство с фреймворком SEAL 178
Реализация фреймворка SEAL 180
Выводы 185
Дополнительное чтение 186
ГЛАВА 11. ГЕНЕРАЦИЯ ГРАФОВ С ПОМОЩЬЮ ГРАФОВЫХ НЕЙРОННЫХ СЕТЕЙ 187
Технические требования 187
Генерация графов с помощью традиционных методов 188
Модель Эрдеша-Реньи 188
Модель «малого мира» 190
Генерация графов с помощью графовых нейронных сейтей 192
Вариационные графовые автоэнкодеры 193
Авторегрессионные модели 194
Генеративные состязательные сети (GAN) 196
Генерация молекул с помощью MolGAN 199
Выводы 203
Дополнительное чтение 204
ГЛАВА 12. ОБУЧЕНИЕ НА ГЕТЕРОГЕННЫХ ГРАФАХ 205
Технические требования 205
Нейронная сеть передачи сообщений 206
Знакомство с гетерогенными графами 208
Преобразование гомогенных GNN в гетерогенные GNN 212
Реализация иерархической нейронной сети с самовниманием 218
Выводы 222
Дополнительное чтение 223
ГЛАВА 13. ТЕМПОРАЛЬНЫЕ ГРАФОВЫЕ НЕЙРОННЫЕ СЕТИ 224
Технические требования 224
Знакомство с динамическими графами 225
Прогнозирование веб-трафика 225
Знакомство с EvolveGCN 226
Реализация EvolveGCN 228
Прогнозирование случаев COVID-19 235
Знакомство с MPNN-LSTM 236
Реализация MPNN-LSTM 237
Выводы 244
Дополнительное чтение 244
ГЛАВА 14. ИНТЕРПРЕТАЦИЯ ГРАФОВЫХ НЕЙРОННЫХ СЕТЕЙ 246
Технические требования 246
Знакомство с методами интерпретации 246
Интерпретация графовых нейронных сетей с помощью GNNExplainer 248
Знакомство с GNNExplainer 248
Реализация GNNExplainer 250
Интерпретация графовых нейронных сетей с помощью Captum 255
Знакомство с Captum и методом интегрированных градиентов 255
Реализация метода интегрированных градиентов 256
Выводы 261
Дополнительное чтение 261
ЧАСТЬ 4. ЗАДАЧИ 262
ГЛАВА 15. ПРОГНОЗИРОВАНИЕ ТРАФИКА С ПОМОЩЬЮ A3T-GCN 263
Технические требования 263
Исследование набора данных PeMS-M 263
Обработка набора данных 268
Реализация архитектуры A3T-GCN 273
Выводы 279
Дополнительное чтение 279
ГЛАВА 16. ПОСТРОЕНИЕ РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЫ С ПОМОЩЬЮ LIGHTGCN 280
Технические требования 280
Исследование набора данных Book-Crossing 281
Предварительная обработка набора данных Book-Crossing 287
Реализация архитектуры LightGCN 291
Выводы 303
Дополнительное чтение 303
ГЛАВА 17. ОБНАРУЖЕНИЕ АНОМАЛИЙ С ПОМОЩЬЮ ГЕТЕРОГЕННЫХ ГРАФОВЫХ НЕЙРОННЫХ СЕТЕЙ 304
Технические требования 304
Исследование набора данных CIDDS-001 305
Предварительная обработка набора данных CIDDS-001 309
Реализация гетерогенной GNN 317
Выводы 324
Дополнительное чтение 325
ГЛАВА 18. РАСКРЫТИЕ ПОТЕНЦИАЛА ГРАФОВЫХ НЕЙРОННЫХ СЕТЕЙ В РЕАЛЬНЫХ ЗАДАЧАХ 326
gnn