高风险业务里的 AI 怎么落地：设计一个可审计的人工复核闭环

Аннотация: На примере проверки соответствия и проверки материалов мы обсуждаем декомпозицию задач, статус доказательств, принятие решений человеком, записи аудита и границы ошибок в рабочем процессе «Человек в цикле». Ключевые слова: участие человека в процессе, проверка соответствия ИИ, проверка вручную, рабочий процесс ИИ, журнал аудита, контроль рисков. При рекомендациях контента или создании изображений неудовлетворительные результаты работы ИИ часто означают только ухудшение качества обслуживания. Но в сценариях заключения контрактов, закупок, финансов, законодательства и соблюдения требований пропущенный обязательный пункт может напрямую изменить результаты бизнеса. Такие системы не могут рассматривать «типовые ответы» как завершение процесса. Более подходящая позиция — позволить ИИ завершить сбор доказательств, обнаружение различий и предварительную классификацию, а затем четко передать суждение, которое должны вынести люди, уполномоченному лицу. В этом суть «человека в цикле»: вместо того, чтобы помещать «Результаты предназначены только для справки» внизу страницы, человеческая проверка предназначена для того, чтобы быть частью конечного автомата системы. Рисунок 1. Проверка соответствия определяет проект, ссылки и объем проверки перед началом анализа. Скриншот взят из реального бизнес-интерфейса Biomai Cloud. Первое отдельное извлечение фактов и деловое суждение Вопрос «Соответствует ли этот проект?» смешивает как минимум два типа задач. Извлечение фактов может быть выполнено с помощью системы, например, путем выяснения квалификационных требований, требований к подписи, разрешительных документов, сроков и положений об отмене заявок. Деловое суждение должно сочетаться с фактическими материалами компании, системой авторизации и склонностью к риску, например, с тем, может ли быть соблюдена определенная квалификация и приемлемо ли определенное отклонение. После разделения двух типов задач выходную структуру можно спроектировать следующим образом: Требование - исходные доказательства - извлеченное состояние - текущий материал - состояние машины - решение рецензента - обзорная заметка Модель может давать статус машины, такой как «найден», «может отсутствовать», «конфликт» и т. д., но окончательные «удовлетворен», «не удовлетворен» и «нужно дополнить» должны быть подтверждены уполномоченным персоналом. Замена длинного ответа матрицей ответов Сценарии высокого риска не подходят для вывода только сводки на естественном языке. Длинные тексты читабельны, но их сложно проверить по пунктам и сложно распределить обязанности. Матрица ответов больше подходит для разбиения требований на независимые элементы, каждый из которых содержит источник, текущие доказательства, уровень риска, ответственное лицо, крайний срок и статус проверки. Это не только облегчает поэлементную обработку, но и предотвращает выполнение моделью важного требования после того, как оно написано в середине абзаца. Уровни риска также не следует полностью оставлять на усмотрение модели. Сначала можно установить четкие правила: положения, которые ведут к прямой дисквалификации, представляют собой высокий риск; статьи, которые требуют дополнительных материалов, но еще есть время на обработку, относятся к среднему риску; проблемы с выражением или форматом имеют низкий риск. Модель отвечает за сопоставление правил, а люди отвечают за подтверждение границ. Ручная проверка не является флажком Если на странице есть только кнопка «Я прочитал», система не сможет доказать то, что проверил пользователь. Эффективная ручная проверка должна, как минимум, документировать: Рецензенты и их роли; Время рассмотрения; Просмотренная версия документа и версия результата AI; Решения по каждому важному вопросу; Контент до и после модификации; Причины возврата, пополнения или оформления обновления. При изменении входного документа соответствующий статус проверки необходимо признать недействительным или повторно подтвердить, и старое заключение нельзя продолжать использовать. Сделайте статус ошибки явным Распространенной опасной практикой в рабочих процессах ИИ является объединение тайм-аутов, сбоев анализа и низкой достоверности в неполный нормальный ответ.