Тестирование GigaChat от Сбера показало — России нечего ловить в конкуренции ИИ США и Китая
Если GigaChat отражает состояние всей российской
экосистемы LLM,
то Россия не только не сможет конкурировать на переднем крае, но и даже
столкнётся с трудностями в нише небольших открытых моделей
Вышесказанное – парафраз вердикта Джека Кларка (сооснователя и Head of
Policy компании Anthropic, а до того Policy Director OpenAI) на опубликованные
результаты тестов сравнительной производительности GigaChat (разработанное Сбером семействе
моделей с открытыми и закрытыми весами, созданных специально для работы с
русским языком).
Policy компании Anthropic, а до того Policy Director OpenAI) на опубликованные
результаты тестов сравнительной производительности GigaChat (разработанное Сбером семействе
моделей с открытыми и закрытыми весами, созданных специально для работы с
русским языком).
Пикантность
этого тестирования (опубликованного не врагами,
а самой командой GigaChat) в том, что разработчики GigaChat сами проверила свои модели на бенчмарке MERA – набор сравнительных тестов для современных
текстовых русскоязычных моделей, разработанный российским Альянсом в сфере ИИ.
этого тестирования (опубликованного не врагами,
а самой командой GigaChat) в том, что разработчики GigaChat сами проверила свои модели на бенчмарке MERA – набор сравнительных тестов для современных
текстовых русскоязычных моделей, разработанный российским Альянсом в сфере ИИ.
И оказалось, что русские модели семейства GigaChat, заточенные на русский язык, показали на
тестах, специфичных для русского языка, результаты хуже, чем результаты учувствовавших
в испытаниях американских (Claude 3.7 Sonnet, Gemini 2.0 Flach и Gemini 1.5 Pro) и китайских (DeepSeek-V3 и DeepSeek-V3-0324) моделей.
тестах, специфичных для русского языка, результаты хуже, чем результаты учувствовавших
в испытаниях американских (Claude 3.7 Sonnet, Gemini 2.0 Flach и Gemini 1.5 Pro) и китайских (DeepSeek-V3 и DeepSeek-V3-0324) моделей.
Почему это важно?
— спрашивает Джек Кларк.
— спрашивает Джек Кларк.
И отвечает так —
поле битвы за лидерство в ИИ остаётся за США и Китаем (т.е. по мнению Джека
Кларка, для России здесь нет места).
поле битвы за лидерство в ИИ остаётся за США и Китаем (т.е. по мнению Джека
Кларка, для России здесь нет места).
Впрочем, уверен,
- будут и иные трактовки.
- будут и иные трактовки.
И в том числе, в
духе бородатого анекдота про то, как Джимми Картер и Л. И. Брежнев соревновались
в беге.
духе бородатого анекдота про то, как Джимми Картер и Л. И. Брежнев соревновались
в беге.
— Картер добежал
первым.
первым.
— Через полчаса
до финиша с большим трудом доковылял Брежнев.
до финиша с большим трудом доковылял Брежнев.
На следующее утро
сообщение ТАСС:
сообщение ТАСС:
По результатам забега президент США Джимми Картер занял предпоследнее
место. Генеральный секретарь ЦК КПСС Леонид Ильич Брежнев занял почетное
второе место.
место. Генеральный секретарь ЦК КПСС Леонид Ильич Брежнев занял почетное
второе место.
#ИИГонка #Россия #США #Китай
иигонка
россия
сша
китай
