⌂ Все уроки · Справочник блока 2 · версия от 11 июня 2026 · используется в финале блока 2 (урок 16) и в каждом реальном заказе ассистента по базе знаний
💡 Как пользоваться: проходите разделы сверху вниз при составлении ТЗ и на каждой встрече с разработчиком. Под каждым разделом — 🚩 красный флаг: ответ, после которого стоит насторожиться.
Сколько в базе страниц/токенов? Если меньше ~500 страниц (~200K токенов) — RAG не нужен: вся база в промпт + кэширование.
Сколько запросов в день и кто спрашивает? Единицы-десятки от своей команды — рассмотрен ли агентный поиск по файлам (ноль инфраструктуры, урок 15)? RAG оправдан, когда запросов много и каждый ответ должен быть быстрым и дешёвым.
Если RAG не нужен — предложено ли решение проще (длинный контекст или агентный поиск)?
🚩 «RAG нужен всем, это стандарт» — без вопросов о размере базы и числе запросов в день. И зеркальный флаг: «RAG устарел, делаем агентный поиск» — для сервиса на сотни клиентских запросов в день.
1. Подготовка базы · урок 11
Кто и когда вычищает из базы устаревшие версии, черновики, дубли? (Это ваша работа — но процесс должен быть.)
Как парсятся PDF? Что происходит с таблицами — сохраняются со структурой (structure-aware парсер) или расплющиваются в текст?
Как происходит обновление: добавили документ — что дальше и сколько стоит?
🚩 «Извлечём текст обычной библиотекой» — при базе, где есть таблицы тарифов и программ.
2. Нарезка · урок 11
Какой размер чанков и почему? (Ориентир 2026: 256–512 токенов для фактов, резка по структуре документа.)
Как чанки сохраняют контекст документа: contextual retrieval (LLM дописывает контекст) или late chunking?
Тестировались ли 2–3 стратегии нарезки на наших документах с цифрами?
🚩 «Нарежем по 1000 символов с перекрытием, как все» — рецепт туториалов 2023 года.
Эмбеддинг-модель выбрана по тесту на наших данных — или по месту в рейтинге?
Если предлагают GraphRAG: какие у нас вопросы-цепочки по связям, оправдывающие 3–5× стоимости?
🚩 «Чистый векторный поиск найдёт всё по смыслу» — потеряет артикулы, фамилии, номера тарифов.
4. Приёмка по цифрам · урок 12
Расшифровка: золотой набор — «экзаменационные билеты» поиска, пары «вопрос → документ с заранее известным ответом»; recall@5 — доля вопросов набора, для которых нужный документ попал в первую пятёрку выдачи.
Золотой набор: 50–100 пар «вопрос → документ с ответом». Кто собирает? (Вы + синтетические вопросы из чанков.)
Целевой recall@5 на золотом наборе прописан в ТЗ? (Ориентир: 85%+; на синтетических вопросах ~97%.)
Каждое изменение системы прогоняется по золотому набору до выкатки?
🚩 Приёмка по демонстрации из 5–10 удачных вопросов. Демо делается за вечер — цифры не сыграешь.
5. Честность ответов · урок 13
Нативные цитаты (Citations): каждое утверждение привязано к предложениям документа?
Право на «не знаю»: что ответит система, когда ответа нет в базе? (Явное «не найдено» + передача человеку.)
Проверка на приёмке: 5–10 вопросов без ответа в базе — ассистент честно промолчал?
🚩 «Напишем в промпте, чтобы указывал источники и не выдумывал» — промпт-цитаты модель выдумывает вместе с ответом.
6. Эксплуатация и бюджет · урок 14
Обновления инкрементальные (по хешу изменённых документов)? Стоимость пропорциональна изменениям, не размеру базы?
Сколько платим в месяц при НУЛЕ запросов? (Детектор скрытых минимальных платежей.)
Managed-сервис или самосбор — и почему? Бюджет по статьям: эмбеддинги / хранение / поиск / реранкер / генерация?
Заложена ли в бюджет 1–3 полных переиндексации за первые полгода (смена нарезки/модели)?
Что после запуска: логи, ежемесячный разбор реальных вопросов, донастройка? (RAG валидируется только в эксплуатации.)
🚩 «Сдадим под ключ и всё» — без строки о поддержке после запуска.
7. Топ-5 граблей заказчика · весь блок
Принимать работу по демо, а не по метрикам (~70% команд не меряют качество поиска вообще).
Полировать промпты, когда сломан поиск — сначала recall, потом всё остальное.
Кормить систему мусором: кривые PDF, расплющенные таблицы, устаревшие версии.
Считать, что проект заканчивается запуском.
Не спросить про скрытые минимальные платежи инфраструктуры (бывает $345/мес на пустом месте).