Содержание поста "Себастьян Рашка. Оценка модели, выбор модели и выбор алгоритма в машинном обучении (77-стр. pdf)"
Введение: основные понятия и методы оценки модели 3
1.1. Оценка качества: обобщающая способность и выбор модели 4
1.2. Предпосылки и терминология 5
1.3. Проверка повторной подстановкой и метод разбиения на обучающую и тестовую выборки 8
1.4. Стратификация 9
1.5. Разбиение на обучающую и тестовую выборки 11
1.6. Пессимистичное смещение 13
1.7. Доверительные интервалы на основе аппроксимации нормальным распределением 13
2. Бутстреп и оценка неопределенности 15
2.1. Обзор 15
2.2. Метод повторных выборок (ресемплинг) 16
2.3. Проверка с помощью метода многократного разбиения на обучающую и тестовую выборки 20
2.4. Метод бутстрепа и эмпирические доверительные интервалы 22
3. Перекрестная проверка и настройка гиперпараметров 29
3.1. Введение 29
3.2. О гиперпараметрах и выборе модели 29
3.3. Метод разбиения набора данных на три части для настройки гиперпараметров 32
3.4. Знакомство с k-блочной перекрестной проверкой 37
3.5. Особые случаи: 2-блочная перекрестная проверка и перекрестная проверка с исключением по одному 39
3.6. k-блочная перекрестная проверка и компромисс между смещением и дисперсией 43
3.7. Выбор модели с помощью k-блочной перекрестной проверки 46
3.8. Замечание по поводу выбора модели и больших наборов данных 49
3.9. Замечание по поводу отбора признаков при выборе модели 49
3.10. Закон простоты 50
3.11. Выводы 52
4. Сравнение алгоритмов 53
4.1. Введение 53
4.2. Проверка разности долей 53
4.3. Сравнение двух моделей с помощью критерия МакНемара 56
4.4. Получение точных p-значений с помощью биномиального критерия 59
4.5. Множественная проверка гипотез 60
4.6. Q-критерий Кохрена для сравнения обобщающей способности нескольких классификаторов 62
4.7. F -критерий для проверки нескольких гипотез 65
4.8. Сравнение алгоритмов 67
4.9. Парный t-критерий с многократным разбиением на обучающий и тестовый наборы 68
4.10. Парный t-критерий с k-блочной перекрестной проверкой 69
4.11. Парный t-критерий c 5-повторной 2-блочной перекрестной проверкой, предложенный Диттерихом 70
4.12. Комбинированный F-критерий с 5-повторной 2-блочной перекрестной проверкой, предложенный Алпайдином 71
4.13. Размер эффекта 71
4.14. Вложенная перекрестная проверка 72
4.15. Заключение 73
Библиография 75
Приобрести статью можно в посте https://boosty.to/drains/posts/6a0749c2-c09e-4333-807b-6f9cca265850?share=post_link
сборник_статей_по_ml
пост_книга_"сборник_статей_по_ml"