Дайте агентам проверять свою работу
Доводилось ли вам попадать на собеседование, где выдают ручку с листком и просят написать код без компьютера? Если не доводилось, можете легко провести такой эксперимент над собой.
Вот в такие же рамки мы часто загоняем агентов, когда не даем им инструментов для самостоятельной проверки результата. Код написан и выглядит убедительно, а запускать приложение и тыкать кнопки в итоге приходится вам.
Экономить на таких инструментах не стоит. Когда я подключаюсь к новому проекту, то почти сразу смотрю на инструментарий для тестов. Сами тесты, конечно, тоже важны, но они вторичны: если инструментария нет или он посредственный, то и тесты будут такими же.
Агент и сам может сделать нужные инструменты, но так как это часто работа не на пять минут, сам он в этот омут не кинется. Поэтому его нужно заставлять и иногда поддавливать, чтобы он сделал инструменты для тестирования и дорабатывал их по мере необходимости. Про развитие таких инструментов при разработке продуктов часто забывают, так что эти установки стоит прямо записать в AGENTS.md. Тогда вместе с продуктом будут развиваться и инструменты для проверки его работы.
Когда я решился делать свой форк редактора Zed, одним из первых моих поручений агенту было сделать систему для запуска debug-сборки в оффскрине. Теперь любое мое поручение агент реализует, запускает редактор, тыкает кнопки, печатает текст, сам проверяет результат и, если надо, идет на новый цикл доработки. Мне остается в основном проговаривать визуальные шероховатости, чтобы довести решение до адекватного уровня, а с критическими блокерами я уже давно не сталкивался.
Если у вас веб-приложение, обязательно просите агента проверять все в реальном браузере (предпочтительно в headless). Это тоже часто приводит к находкам, на которые иначе пришлось бы тратить время вам. Для остальных приложений можно разработать или подключить готовые инструменты, через которые агент сам посмотрит на результат.
Если вы делаете интеграционную систему, не поленитесь сделать эмулятор внешней системы, который будет вести себя максимально похоже на реальную. Просто дайте агенту всю документацию, и пусть он его напишет. На эмуляторе агент сможет автономно делать доработки и фиксы, а заодно писать обычные автотесты, которые не дадут вашему продукту стать хрупким и сложноподдерживаемым.
Мы у себя, например, сделали эмулятор ЭДО-операторов: Контур.Диадок, СберКорус, Didox и Контур.EDI в одном приложении. Делали его в первую очередь как раз для этого: чтобы агенты сами тестировали и дорабатывали интеграцию, а автотесты поднимали эмулятор через Testcontainers. С настоящими операторами для каждой проверки нужны реальные ящики, сертификаты и контрагенты, а заставить контрагента подписать или отклонить документ по сценарию теста вообще не получится. С эмулятором тест сам играет за контрагента: доставляет, подписывает, отклоняет, отзывает, и каждый прогон начинается с чистого состояния. Разработка и тестирование стали просто сказкой.
К тому же эмулятор дает несколько других бонусов:
1. Защита от сбоев внешней системы: когда она работает плохо, ваша разработка не останавливается.
2. Эмуляция сбоев: можно заранее отладить поведение вашей платформы на тот случай, когда внешняя система даст сбой. Не нужно полагаться на авось.
3. Несогласованные изменения во внешней системе находятся быстрее. Бывает, долго ищешь проблему у себя, а в итоге выясняется, что на той стороне что-то поменяли втихую.
Само собой, работу эмулятора нужно внимательно сверять с реальной системой. Но это капля в море по сравнению со временем, которое теряется при работе с ней напрямую.
Без инструментов агент будто пишет код на листочке, а проверяющим становитесь вы. И за каждый круг "запустить, потыкать, объяснить, что сломалось" платите своим временем. Пусть вкалывают роботы, а не человек.