Сергей Калабонга

Сергей Калабонга 

Разработка нa .NET

109subscribers

571posts

Showcase and bundles

190
A bundle is a collection, compilation, playlist, or catalog of posts that saves you from searching through the blog and lets you buy the entire content series in a single click.
goals2
13 of 500 paid subscribers
После того, как будет набрано 500 подписчиков, можно будет открыть онлайн курсы для разработчиков. Будем писать код вместе.
$25.67 of $239 raised
Нужно обновить конфигурацию компьютера, чтобы можно было делать больше видео за меньше время. Создание видео - очень трудоемкий и длительный процесс.

Как вы тестируете и отлаживаете системы, где поведение задаётся моделью, а не детерминированной логикой? Что заменяет классический юнит-тест?

Ответ:
Тут меняется сама парадигма тестирования: вместо проверки корректности проверяем распределение качества:
  • Golden dataset — фиксирую эталонный набор входов и ожидаемых выходов, гоняю его на каждый релиз модели или промпта, отслеживаю метрики (accuracy, precision/recall, а для генерации — человеческие или LLM-as-judge оценки).
  • Слоистая защита: сама модель может ошибаться, но вокруг неё ставлю детерминированные guardrails — валидация формата, ограничение действий, фолбэк-логика. Юнит-тестами покрываю именно эту обвязку.
  • Прод-наблюдаемость: логирую входы/выходы и фидбек пользователей, строю дашборды по дрейфу. Отладка часто сводится не к «почему код сломался», а к «на каких входах качество просело» — поэтому критичен трейсинг конкретных примеров.
Мысленно я отношусь к ML-компоненту как к зависимому сервису с SLA по качеству, а не как к куску кода.
Subscription levels2

Простой

$2.42$2.19 per month
-10%
billed every 3 months
Начальный уровень подписки включает:
→ эксклюзивные материалы для подписчиков уровня "Начальный"
→ возможность отправлять личные сообщения

Продвинутый

$7.6 per month
Продвинутый уровень подписки включает всё что есть предыдущем уровни, и добавляет:
→ эксклюзивные видео ролики, которые недоступны на предыдущем уровне
→ отправка личных сообщений
→ исходные файлы проектов, показанных на видео
→ возможность влиять на выбор тем для новых роликов
→ еще больше эксклюзивных материалов для подписчиков этого уровня
Go up