Как мне отбили интерес к ML на десять лет
Я училась на Факультете Инноваций и Высоких Технологий в МФТИ, и на третьем курсе у нас был курс Машинного обучения. Для контекста, дело было в 2015 году, к тому моменту у нас уже закончились курсы линейной алгебры, теории вероятности, мат статистики, короче, математическая база была хорошая. Правда, курс по машинному обучению был на Python, а курса Python не было, но составители учебного плана резонно посчитали, что студенты справятся впитать знания Python из воздуха, что конечно что так и сработало.
Курс начинался с решающих деревьев и заканчивался нейронками. По ходу курса можно было наблюдать, как меняется процент успешного распознования рукописных цифр, но меня не покидало ощущение, что мне показывают фокусы их рукава без настоящего обсуждения, что этот процент значит, насколько этот результат получился случайно, а если не случайно, то за счет чего он достигается.
Но ML тогда был очень хайповой темой у меня на факультете, что даже у меня бакалаврский диплом заключался в тренировке нейронки для какой-то задачи. Мое самое яркое впечатление от тренировки нейронок — это как ты запускаешь что-то (непонятно что) с разными параметрами (непонятно, на что они должны влиять), ждешь 4 часа, а потом процесс просто крашится, потому что у тебя на ноуте недостаточно памяти. Брать машинки на AWS и заставить их работать нужным мне образом я тогда еще не умела, так что даже не помню, как выбиралась из этого замкнутого круга. Что кстати не так уж плохо, потому что я знаю несколько однокурсников, которые оказались должны AWS несколько тысяч долларов, потому что взяли мощную машинку и забыли выключить.
Моя главная проблема с ML заключалась в том, что было чувство, что все двигается очень быстро, надо делать что-то очень срочно, но что конкретно — мало кто понимает, а еще никто не уважает тот факт, что ML вообще-то не ко всем задачам имеет смысл применять и никто спокойно и честно не говорит с тобой и границах применимости ML.
Я довольно рано поняла что то, как мне объясняли ML, это не единственный способ. Как-то в офисе WorldQuant (я там чуть-чуть работала) мне на глаза попался учебник по ML от профессора из CalTech (Learning From Data — Yaser S. Abu-Mostafa (https://openeclass.panteion.gr/modules/document/file.php/PMS152/LEARNING/Abu-Mostafa%20Yaser%20S.%2C%20Malik%20Magdon-Ismail%2C%20Hsuan-Tien%20Lin%20%282012%29%20--%20Learning%20From%20Data_%20A%20short%20course.pdf)), и там он очень математически аккуратно ввел задачу, которую ML решает. Вот есть множество исходных данных, есть множество результатов, ищем вот такую функцию. И аккуратная оценочка, что при нужных распределениях везде, если мы достаточно хорошо делаем кросс-валидацию, то матожидание ошибки на тестовых данных падает экспоненциально. Не то что бы это дало мне какие-то инструменты для участия в kaggle-соревнованиях, но хотя бы мне объяснили, а что мы собественно пытаемся сделать, на понятном мне языке.
