RedRover.School

RedRover.School 

KNOWLEDGE IS POWER

1 091subscribers

757posts

goals1
102 of 1 000 paid subscribers
Когда мы наберем 1000 подписчиков, у нас будет бюджет, чтобы расширить наши курсы и добавить более сложные темы: CI/CD, QA AI и т.д.

[Podcast] Проблемы тестирования ИИ

RedRover.School
audio.mp3
0:00
1:39:00
Особенности и проблемы тестирования ИИ
  • Галлюцинации: Природа «фантазий» LLM и способы снижения их вероятности через RAG и системные промпты.
  • Нестабильность и детерминизм: Проблема воспроизводимости багов — один и тот же запрос может давать разные ответы.
  • Качество ответов: Оценка полноты (completeness), корректности ссылок на источники (citations) и структуры ответа.
  • Производительность и стоимость: Баланс между скоростью ответа модели, её «интеллектом» и затратами на токены/ресурсы
Спасибо!
Было интересно!
Spasibo!
Я тестировал бота в банковском домене, это конечно не трушный AI, а ближе к ML где бот обучается на датасетах путем распознования entity и вытаскивая интента и confidence score
-0-0.5
-0.5-0.8
- 0.8-1.0
Это был data-driven framework где общение с ботом было на API лэвэле с генерация summary report etc....
Subscription levels3

На доброе дело!

$1.29 per month

Помогаю сделать мир лучше!

$3.9 per month

Учусь и помогаю другим!

$11.6 per month
Go up