Биоинформатика и лапки 

В этом открытом длиннопосте поговорим о меточном шуме и о том, как с ним бороться. Код приложен к посту.

В прикладном машинном обучении, особенно в высоконаучных приложениях вроде той же биоинформатики, иногда возникают интересные задачи эпистемиологического характера в духе "А как мы можем понять, что из этих данных вообще можно узнать, и насколько они правильные?".

Предположим, что существует некий датасет (X, y_gathered), где X -- данные, а y_gathered -- метки. (Бусти, втф, добавь латех в редактор!)

Этот датасет был, например, собран людьми, у которых руки растут не из того места -- реальные метки y_real и собранные метки y_gathered отличаются так, что y_gathered = y_real + N, где N -- некий шум неизвестной природы. Также мы можем предположить, что сама метка y_real -- какая-то сложноопределимая хрень, насчет которой спорят эксперты (ТМ) и никак не могут определиться с результатом.

Для нас эти две постановки эквивалентны.

Есть интерес в том, чтобы:

1. Попытаться понять, какие из меток в y_gathered неправильные и соответствующие примеры выкинуть из датасета;

2. Насколько реальный диапазон y_real отличается от диапазона y_gathered, или, если говорить о классификации, насколько классы из y_real соответствуют классам в y_gathered;

3. Какой может быть модель шума -- какие классы проще всего между собой перепутать?

В общем виде этим заннимается теория уверенного обучения (confident learning), которая предлагает свою формализацию понятия меточного шума и общие подходы к этим вопросам. Сегодня мы попробуем поиграться с решением задачи 1, и посмотреть на примере, а можно ли тем же самым подходом решить задачу 2. Про задачу 3 поговорим как-нибудь в другой раз.

В честь начала учебного года -- перевод статьи американского нейробиолога Эрика Хёля "Why we stopped making Einsteins: Aristocratic tutoring I: Explaining the decline of genius". Вкратце -- БАЗА.

Я считаю, что факт о человечестве, который сильнее всего вызывает депрессию, -- то, что, хоть во время нулевых большая часть мира и получила, по сути, свободный и бесплатный доступ ко всему существующему знанию, это не привело к золотому веку.

Если думать о возникновении интернета достаточно долго, кажется невозможным не начать отвергать существующие предположения о том, как создается гениальность. Если бы гении были лишь вопросом генетики, тогда во время предыдущего века, с колоссальным ростом населения мира и взлётом массовости образования, а также с разрушением расовых и гендерных барьеров по всему миру (в частности, в последние несколько десятилетий, тогда, когда наше общество стало насыщено свободной и бесплатной информацией), мы должны были бы наблюдать всплеск гениальности -- расцвет лучших математиков, самых великих ученых, и наиболее впечатляющих людей искусства.