При всех преимуществах RAG, в промышленной эксплуатации мы сталкиваемся с рядом системных проблем. Кратко о главных.

1. Низкое качество чанков
Некачественное разделение документов ведет к потере контекста. Решение — продуманные стратегии чанкинга (рекурсивное разделение, семантическая сегментация).

2. Неточный поиск
Лексический разрыв и неидеальные эмбеддинги — классический семантический поиск часто недостаточен. Решение — гибридный поиск (эмбеддинги + BM25) и ре-ранкинг.

3. Потеря контекста
Сложные запросы требуют синтеза данных из нескольких чанков. Простой RAG с этим не справляется. Решение — техники сжатия и консолидации контекста.

4. Галлюцинации
Модель игнорирует контекст и генерирует ответ из собственных знаний. Решение — строгие промпты и обязательное цитирование источников (grounding).

5. Сложность оценки
Качество системы трудно измерить объективно. Решение — создание золотого датасета и использование метрик Hit Rate, MRR и LLM-as-a-judge.