[Podcast] LLM Foundation
RedRover.School
audio.mp3
0:00
1:24:21
В этой встрече мы разобрали, как на самом деле работают большие языковые модели (LLM), почему они «галлюцинируют» и как QA-специалисты используют их для автоматизации тестирования и работы с документацией.
1. Что такое LLM и как они работают?
LLM (Large Language Model) — это не «интеллект» в человеческом понимании, а мощный статистический генератор текста.
- Принцип предсказания: В основе лежит математика (исторически восходящая к цепям Маркова). Модель анализирует ваш запрос и предсказывает наиболее вероятный следующий токен (часть слова или символ).
- Токены и «стоимость» языка: Модели оперируют не словами, а токенами. В английском языке один токен часто равен слову, а в русском — слово может состоять из 3–4 токенов. Это делает русский язык «дороже» для обработки и быстрее заполняет лимиты памяти.
- Контекстное окно: Это «оперативная память» модели. Если диалог становится слишком длинным и выходит за рамки этого окна, модель начинает «забывать» начало беседы, что ведет к деградации ответов и потере логики.
2. Инструменты управления: Промты и Температура
Чтобы получать от ИИ качественные результаты, нужно уметь им управлять:
- Промт-инжиниринг: Качественный запрос должен содержать конкретную роль (например, «ты — старший системный аналитик»), детали задачи и ограничения.
- Системный промт: При работе через API используется специальная инструкция, которая задает правила поведения на всю сессию. В отличие от обычных сообщений, системный промт не забывается моделью до конца разговора.
- Температура: Параметр, отвечающий за «креативность».Низкая (ближе к 0): модель дает максимально предсказуемые и консервативные ответы (подходит для кода и расчетов).Высокая: модель начинает «фантазировать», что полезно для творческих задач, но резко повышает риск ошибок.
- Низкая (ближе к 0): модель дает максимально предсказуемые и консервативные ответы (подходит для кода и расчетов).
- Высокая: модель начинает «фантазировать», что полезно для творческих задач, но резко повышает риск ошибок.
3. Проблема галлюцинаций и решение через RAG
LLM всегда стремится построить синтаксически верное и убедительное предложение, даже если факты в нем вымышлены. Это и есть галлюцинация.
Для борьбы с этим используется технология RAG (Retrieval-Augmented Generation):
- Внешняя база знаний (ваши PDF, документация в Confluence) разбивается на чанки (отрывки).
- При запросе модель сначала ищет информацию в этих отрывках.
- Ответ строится строго на основе найденных данных, что «приземляет» модель и делает её ответы достоверными.
4. Практический кейс: ИИ-агенты в тестировании
Евгений поделился опытом создания мультиагентной системы для QA:
- Оркестратор: Главный агент, который планирует работу и распределяет задачи.
- Саб-агенты: Специализированные «личности» (тестировщик документации, автоматизатор, мануальщик).
- Интеграция через MCP (Model Context Protocol): Протокол, позволяющий агентам напрямую подключаться к рабочим инструментам (Confluence, Swagger, Jira) для чтения документации и записи тест-кейсов.
podcast
ai
Количество пар ног у этих существ всегда нечетное, поэтому у них может быть, например, 38 или 42 ноги, но не 40. В зависимости от вида число лапок варьируется в огромном диапазоне:
* Обыкновенная мухоловка, которую часто видят в домах, имеет 15 пар (30 ног).
* У других видов это число может достигать 191 пары.
* Абсолютный рекорд принадлежит виду Eumillipes persephone, у которого может быть до 1306 ног.
Любопытно, что первая пара лапок у многих многоножек в процессе эволюции превратилась в ногочелюсти, которыми они захватывают добычу.
Хотите узнать больше о каких-то конкретных видах или, может быть, подобрать литературу о мире насекомых и членистоногих?”