Закон Мура мертв. Да здравствует закон Хуана!:)

2 месяца назад смотрел классный прямой эфир на канале Елизаветы Осетинской. Там она обсуждала с Николаем Давыдовым (был у Дудя в фильме про Кремниевую долину) и братьями Либерманами события вокруг увольнения и возвращения Сэма Альтмана. И в нем Николай использовал тезис, который меня заинтересовал:

Я решил чуть поресерчить, и вот ключевые тезисы моего поиска:

- В 2022 году Дженсен Хуанг из Nvidia заявил о завершении действия закона Мура, указав на более быстрый рост производительности графических процессоров.

- "Закон Хуана" предполагает, что производительность GPU Nvidia увеличивается более чем в два раза каждые два года, превосходя темпы закона Мура.

- Закон Хуана акцентирует внимание на быстром развитии GPU по сравнению с CPU, опровергая предположения закона Мура о росте числа транзисторов. Он охватывает не только увеличение транзисторов, но и улучшения в архитектуре, соединениях, памяти и алгоритмах.

- Прекращение действия закона Мура связано с производственными трудностями и повышением стоимости чипов, а также сменой фокуса Nvidia на ИИ и другие технологии.

- Дженсен Хуанг оптимистичен относительно будущего и предвидит, что каждая компания будет производить интеллект.

- Алекснет на GPU Nvidia GTX 580 требовал шесть дней для обучения, в то время как современный сервер DGX-2 AI справляется с задачей за 18 минут.

- Производительность чипов Nvidia для ИИ увеличилась в 317 раз с 2012 по 2020 год.

- GPU Nvidia лучше адаптированы для задач ИИ, чем традиционные CPU, благодаря способности обрабатывать множество задач параллельно, несмотря на ограничения по энергопотреблению.

Чуть подробнее:

Закон Мура, сформулированный сооснователем Intel Гордоном Муром в 1965 году и предсказывающий удвоение количества транзисторов на кристалле каждые два года, считается движущей силой прогресса человечества в области полупроводниковых технологий. Однако генеральный директор Nvidia Дженсен Хуанг объявил в 2022 году, что закон Мура закончился. Производительность графического процессора Nvidia растет быстрее, чем по закону Мура: производительность увеличивается более чем в два раза каждые два года. Этот ускоренный темп Хуан назвал «законом Хуана».

Вот какое определение дает Википедия:

Причины прекращения действия закона Мура можно объяснить, например, такими факторами:

- Производственные проблемы: поскольку компоненты микрочипов становятся меньше, усовершенствованиям микросхем становится все труднее соответствовать скорости закона Мура. Стоимость производства чипов также выросла, что делает менее целесообразным продолжение тенденции снижения цен на чипы.

- Смещение фокуса: Nvidia сосредоточилась на искусственном интеллекте (ИИ) и других передовых технологиях, которые, возможно, не связаны напрямую с традиционным законом Мура.

- Конкуренция: другие компании, такие как AMD, также разрабатывают новые конструкции чипов и технологии, которые потенциально могут бросить вызов доминированию Nvidia на рынке.

Гендиректор Nvidia, что вполне ожидаемо, по-прежнему с оптимизмом смотрит в будущее. Хуан считает, что искусственный интеллект будет и дальше способствовать технологическому прогрессу и что каждая компания в конечном итоге будет производить интеллект (!).

Хенс Хуанг отмечает, что для выполнения задач, связанных с ИИ, AlexNet потребовалось шесть дней на двух видеокартах Nvidia GTX 580 для завершения процесса обучения. В то же время современный сервер DGX-2 AI справился с этой задачей всего за 18 минут, то есть по сути ускорение вычислений в 500 раз. 

В отличие от Закона Мура, который концентрируется на увеличении количества транзисторов на микросхемах, Закон Хуанга более широко описывает улучшения в архитектуре, соединениях, технологии памяти и алгоритмах. Этот закон подчеркивает, что производительность чипов, задействованных в ИИ, удваивается каждые два года, учитывая как аппаратное, так и программное обеспечение. 

С ноября 2012 по май 2020 года производительность чипов Nvidia увеличилась в 317 раз для определенных задач ИИ, как указал Билл Далли, главный научный сотрудник и вице-президент Nvidia по исследованиям. 

Nvidia давно специализируется на производстве графических процессоров, которые особенно хорошо подходят для выполнения множества задач одновременно, в отличие от центральных процессоров, например, от Intel, которые более эффективны в быстрой обработке одиночных задач. Закон Мура фокусируется на развитии именно таких процессоров, но его поддержание требовало усилий тысяч инженеров и значительных инвестиций техногигантов. Nvidia, следуя своему закону Хуанга, также не является единственной компанией в этом процессе.

Графические процессоры лучше адаптированы для решения задач ИИ по сравнению с традиционными ЦП благодаря своей способности обрабатывать множество задач параллельно, имея при этом большое количество ядер. Но даже графические процессоры имеют свои ограничения, в частности, по потреблению энергии.

Так выглядит график капитализации Nvidia:

Возвращаясь к интервью, хочу процитировать ответ Либерманов на вопрос о том, сколько времени осталось до общего искусственного интеллекта (AGI):

А вы что думаете? Какие у вас ставки на AGI?:)

p.s. еще вот такой тезис запомнился из интервью:

LLM не просто предсказывает следующее слово. Она выделяет модель мира, которая используется в языке для описания нашего мира. Это проекция нашей модели сознания на язык.