Иосиф Правец

Иосиф Правец 

Тимлид 1С и фанат эргономичных клавиатур

6subscribers

7posts

В пользовательском тестировании стоит помнить, что мы сами тоже иногда пользователи!

Недавно Валера Бобров предложил мне поучаствовать в закрытом тестировании на пользователях его арены моделей в 1C LLM Benchmark.
Суть проста: загружаешь задачу в сервис, он случайным образом выбирает две модели для решения, модели выдают результаты, а ты оцениваешь их качество.
И вот подвернулся отличный повод для проверки. Вчера я успешно решил задачу с помощью Claude Sonnet 4.5 с первого захода, или, выражаясь геймерским сленгом, "ваншотом" (тот самый случай, когда игровые термины приходят в айти).
Поэтому я отправил на тест ТЗ, составленное в режиме планирования Cursor, по которому задача и была решена.
На выходе же получил нерабочий шлак в обоих вариантах.
Что ж, llama-4-scout и gpt-oss-20b, You Are Not Prepared!
P.S. Ну и если я какой-то текст до конца дочитываю, то никогда не обломаюсь поставить свой царский лайк, а, возможно, даже подпишусь на автора
Go up