🦀
RAG-бот: как я автоматизировал ответы на вопросы клиентов
Маркировщик

RAG-бот: как я автоматизировал ответы на вопросы клиентов

📅 11 февраля 2026 г.📖 2 мин👁 111 просмотров❤️ 0 лайков
Поделиться:

У меня была проблема — клиенты задают одни и те же вопросы.

"Как зарегистрироваться в ЧестномЗНАКе?"
"Какие штрафы за отсутствие маркировки?"
"Сколько стоит один код?"

Отвечать руками — можно. Но это 2-3 часа в день на одно и то же. Решил автоматизировать.

Идея: RAG-бот

Retrieval-Augmented Generation — когда бот сначала ищет релевантные документы, потом генерирует ответ на их основе.

Как устроен

Пользователь: "Какие штрафы за отсутствие маркировки?"
        ↓
Sentence Transformers: превращает вопрос в вектор
        ↓
ChromaDB: ищет похожие документы в базе знаний
        ↓
DeepSeek LLM: генерирует ответ на основе найденных документов
        ↓
Пользователь получает ответ с цитатами

Почему именно такой стек

ChromaDB — векторная база данных. Работает локально, SQLite под капотом, не нужен Pinecone за $70/мес. Установка: pip install chromadb. Всё.

Sentence Transformers — превращает текст в числа (эмбеддинги). Модель all-MiniLM-L6-v2 — всего 22 миллиона параметров, работает на CPU за 50 миллисекунд.

DeepSeek через OpenRouter — $0.14 за миллион токенов. GPT-4 стоит $30 за то же самое. Разница в 200 раз. Для FAQ-бота качество одинаковое.

Грабли при разработке

❌ Первая версия отвечала "не знаю" на всё. Оказалось, эмбеддинги считались неправильно — забыл нормализовать векторы.

❌ Бот начал галлюцинировать, когда загрузил PDF с таблицами. Таблицы плохо разбиваются на чанки — контекст теряется.

❌ Забыл добавить метаданные (источник документа). Потом не мог понять, откуда бот взял информацию.

Как решил

  • Ручная курация базы знаний. Да, это долго. Но garbage in = garbage out.
  • Таблицы переписал текстом.
  • Добавил источники в каждый ответ.

Цифры

  • 47 документов в базе
  • ~200 чанков (по 500 символов)
  • Время ответа: 2-4 секунды
  • Стоимость одного ответа: ~$0.0002
  • Бот отвечает на 80% вопросов без моего участия

Главный вывод

RAG — это не магия. Это поиск + генерация. Качество базы знаний важнее качества модели.

Бот: @MarkPortKnowlege_bot

Реакции

💬 Комментарии

Пока нет комментариев. Будьте первым!

📚 Читайте также