ИИ с замахом на Луну: бесплатная китайская модель за 3 миллиона долларов
Модель К3 от китайской компании Moonshot AI (буквально «ИИ с замахом на Луну») взорвала мир ИИ.
Еще бы: MoE-модель с открытыми и бесплатно скачиваемыми весами, содержащая 2,8 трлн общих и 104 млрд активных параметров, почти сравнялась по многим тестам с крутейшими американскими закрытыми дорогими моделями.
Силиконовая долина в смятении. Илон Маск пишет «впечатляет» и сообщает, что xAI спешно готовит ответку - модель на 2 трлн параметров.
Хайп вокруг К3 таков, что нетрудно представить тысячи начальников, уже готовящих распоряжение немедленно внедрить у себя «бесплатную модель K3».
И действительно, магия китайской модели с открытыми и бесплатно скачиваемыми весами впечатляет.
Однако, разоблачение магии «бесплатной модели» впечатляет еще больше. Особенно на простой и понятной каждому аналогии в статье Дэн Синьсинь ( 快刀青衣) – сооснователя Dedao и куратора AI Learning Circle.
Представьте себе ресторан с тремя звездами Мишлен, который бесплатно публикует полный рецепт своего фирменного блюда: количество ингредиентов, время приготовления, и каждый шаг четко описаны. Как думаете - сможете его воспроизвести?
Подавляющее большинство скажет, что да. Однако, перевернув страницу бесплатного рецепта, вы обнаружите самым мелким шрифтом (как в банковских и провайдерских договорах) описание требований к кухне: вам нужно 64 профессиональные плиты, работающие одновременно, источник питания, способный обеспечить электроэнергией небольшую фабрику, система охлаждения и прочая инженерная инфраструктура, - короче, первоначальные инвестиции около 20 млн юаней (примерно $3 млн).
Получается, что рецепт действительно бесплатный… Но воспользоваться им вам вряд ли по карману. И это еще без учета расходов на электроэнергию.
И цифры за этой метафорой вполне буквальны.
Официальные рекомендации Moonshot AI по развёртыванию К3 предусматривают конфигурацию «суперузла», включающую 64 и более карт-ускорителей. По оценке автора статьи, закупка сопоставимой 64-ускорительной серверной конфигурации может превысить $2,4 млн - около 17 млн юаней. Если считать по 700 Вт на ускоритель класса H200, одни только 64 GPU могут потреблять до 45 кВт. И это ещё без сетевого оборудования и хранилища. Поэтому реальная нагрузка такой установки приблизится к 90 кВт, почти целиком превращающихся в тепло, которое нужно непрерывно отводить.
Так что теперь вы знаете, что ответить начальнику на его приказ немедленно переходить на отрытую китайскую К3 с бесплатным кодом: Шеф, вы хотите подключить K3 по API или действительно разместить её в нашем дата-центре? Это два бюджета, отличающиеся на несколько порядков.
Ведь в открытом доступе веса модели, но не её тренировочные данные и не полный производственный процесс создания, включая всю вычислительную инфраструктуру. За все остальное придется платить. И совсем немало. Какая уж тут магия.
Резюме: Moonshot бесплатно отдаёт вам не рецепт блюда, а полуторатерабайтного цифрового шеф-повара. Но работать этот бесплатный шеф умеет только на кухне размером с небольшой машинный зал, требующей электропитание без малого 100 кВт и промышленное охлаждение.
Увы, но ваш обычный офисный серверный чулан такую плотность мощности и тепла не выдержит.
#Китай #LLM
китай
llm
