Добавление защитных ограждений в конвейеры Haystack 3.0 с помощью TealTiger В Haystack 3.0 полностью изменена конструкция составных конвейеров — вы соединяете такие компоненты, как кубики LEGO, для построения рабочих процессов RAG, чата и агентов. Но как только эти трубопроводы...
Добавление защитных ограждений в конвейеры Haystack 3.0 с помощью TealTiger
В Haystack 3.0 полностью изменена конструкция составных конвейеров — вы соединяете такие компоненты, как кубики LEGO, для построения рабочих процессов RAG, чата и агентов. Но как только эти конвейеры начнут работать, вам понадобятся ответы на такие вопросы, как:
LLM только что слил SSN клиента?
Этот агент тратит 50 долларов в час на звонки GPT-4?
Вызовы каких инструментов были заблокированы и почему?
TealTiger — это механизм управления с открытым исходным кодом, который отвечает на эти вопросы детерминистически — отсутствие LLM на пути управления, оценка менее 2 мс, структурированные аудиторские доказательства.
В этом посте показано, как подключить TealTiger к конвейеру Haystack 3.0 в качестве специального компонента.
Почему управление в Haystack?
Конвейеры Haystack мощные, но по умолчанию доверяют всему. ChatGenerator с радостью передаст PII в OpenAI. ToolInvoker выполнит любой инструмент, запрошенный LLM. В регулируемых средах (здравоохранение, финансы, правительство) это нарушение нормативных требований, которое ждет своего часа.
TealTiger добавляет уровень управления, который:
Блокирует PII до того, как он достигнет LLM (более 40 шаблонов регулярных выражений, ноль внешних вызовов)
Обеспечивает соблюдение разрешенных списков инструментов — выполняются только разрешенные инструменты.
Отслеживает затраты на каждый запрос с помощью бюджета