[Podcast] Проблемы тестирования ИИ
RedRover.School
audio.mp3
0:00
1:39:00
Особенности и проблемы тестирования ИИ
- Галлюцинации: Природа «фантазий» LLM и способы снижения их вероятности через RAG и системные промпты.
- Нестабильность и детерминизм: Проблема воспроизводимости багов — один и тот же запрос может давать разные ответы.
- Качество ответов: Оценка полноты (completeness), корректности ссылок на источники (citations) и структуры ответа.
- Производительность и стоимость: Баланс между скоростью ответа модели, её «интеллектом» и затратами на токены/ресурсы
podcast
ai
Kari
Спасибо!
Mar 23 11:19 
1
Viktoriia Lukina
Было интересно!
Mar 24 22:38 
1
Ihor But
Spasibo!
Mar 26 22:00 
1
Maksim Maksimov
Я тестировал бота в банковском домене, это конечно не трушный AI, а ближе к ML где бот обучается на датасетах путем распознования entity и вытаскивая интента и confidence score
-0-0.5
-0.5-0.8
- 0.8-1.0
Это был data-driven framework где общение с ботом было на API лэвэле с генерация summary report etc....
Mar 27 23:04