Дайте агентам проверять свою работу
Доводилось ли вам попадать на собеседование, где выдают ручку с листком и просят написать код без компьютера? Если не доводилось, можете легко провести такой эксперимент над собой.
Вот в такие же рамки мы часто загоняем агентов, когда не даем им инструментов для самостоятельной проверки результата. Код написан и выглядит убедительно, а запускать приложение и тыкать кнопки в итоге приходится вам.
Экономить на таких инструментах не стоит. Когда я подключаюсь к новому проекту, то почти сразу смотрю на инструментарий для тестов. Сами тесты, конечно, тоже важны, но они вторичны: если инструментария нет или он посредственный, то и тесты будут такими же.
Агент и сам может сделать нужные инструменты, но так как это часто работа не на пять минут, сам он в этот омут не кинется. Поэтому его нужно заставлять и иногда поддавливать, чтобы он сделал инструменты для тестирования и дорабатывал их по мере необходимости. Про развитие таких инструментов при разработке продуктов часто забывают, так что эти установки стоит прямо записать в AGENTS.md. Тогда вместе с продуктом будут развиваться и инструменты для проверки его работы.
Когда я решился делать свой форк редактора Zed, одним из первых моих поручений агенту было сделать систему для запуска debug-сборки в оффскрине. Теперь любое мое поручение агент реализует, запускает редактор, тыкает кнопки, печатает текст, сам проверяет результат и, если надо, идет на новый цикл доработки. Мне остается в основном проговаривать визуальные шероховатости, чтобы довести решение до адекватного уровня, а с критическими блокерами я уже давно не сталкивался.
