Как вы тестируете и отлаживаете системы, где поведение задаётся моделью, а не детерминированной логикой? Что заменяет классический юнит-тест?
Ответ:
Тут меняется сама парадигма тестирования: вместо проверки корректности проверяем распределение качества:
Тут меняется сама парадигма тестирования: вместо проверки корректности проверяем распределение качества:
- Golden dataset — фиксирую эталонный набор входов и ожидаемых выходов, гоняю его на каждый релиз модели или промпта, отслеживаю метрики (accuracy, precision/recall, а для генерации — человеческие или LLM-as-judge оценки).
- Слоистая защита: сама модель может ошибаться, но вокруг неё ставлю детерминированные guardrails — валидация формата, ограничение действий, фолбэк-логика. Юнит-тестами покрываю именно эту обвязку.
- Прод-наблюдаемость: логирую входы/выходы и фидбек пользователей, строю дашборды по дрейфу. Отладка часто сводится не к «почему код сломался», а к «на каких входах качество просело» — поэтому критичен трейсинг конкретных примеров.
Мысленно я отношусь к ML-компоненту как к зависимому сервису с SLA по качеству, а не как к куску кода.
вопросы и ответы