Каждое руководство по созданию чат-бота RAG заканчивается одинаково: вставьте несколько абзацев, вызовите «Поиск сходства», распечатайте ответ. Это дает вам демо-версию, а не продукт. Разрыв между демонстрацией RAG и продуктом RAG, которому можно доверять с документом компании...
Каждое руководство по созданию чат-бота RAG заканчивается одинаково: вставьте несколько абзацев, вызовите «Поиск сходства», распечатайте ответ. Это дает вам демо-версию, а не продукт. Разрыв между демонстрацией RAG и продуктом RAG, которому можно доверять вместе с документами компании, — это то, где живет настоящая инженерия.
Я создал KnowBase AI, мультитенантную базу знаний SaaS, в которую компании загружают документы, а ИИ-помощник отвечает на вопросы, основанные на их собственном контенте — с цитатами из источников, по которым можно щелкнуть. В этом посте рассказывается о конвейере RAG, о том, как мультиарендность меняет дизайн, и о решениях, которые я хотел бы повторить.
Живая демо-версия: Knowbase-ai.netlify.app — вход в систему не требуется, полностью функциональный (работает в демонстрационном режиме с ложными ответами).
Что на самом деле требует RAG
RAG звучит просто: извлеките соответствующий контекст, передайте его в LLM, получите обоснованный ответ. В производстве это означает:
Прием: загружайте документы, разумно разбивайте их на части, сохраняйте.
Поиск: найдите фрагменты, которые действительно отвечают на вопрос.
Заземление: создайте подсказку из полученного контекста, никаких галлюцинаторных ответов.
Доверие: покажите пользователю, почему модель так сказала — цитаты из источников
Каждый шаг сам по себе является небольшим продуктом. Вот трубопровод.
Пищевая трубка