Цитаты моего ИИ-агента были в порядке. Моя программа проверки цитирования оказалась лжецом.

Я создал исследовательский агент, который должен цитировать свои источники, и шлюз — простой код, без использования модели — который проверяет, действительно ли каждая цитата появляется на цитируемой странице. Затем я задал ему 20 вопросов, и ворота отклонили 22 из 47 претензий. Почти половина. Я был доволен собой минут десять. Правило Для каждого заявления агента необходимы две вещи: предложение, скопированное с реальной страницы, и ссылка, по которой оно пришло. Затем детерминированный код проверяет два условия. Это та ссылка, которую мы действительно получили? И присутствует ли эта цитата именно в этих байтах? Ни тому, ни другому нет, и это утверждение вычеркивается из отчета. Эти ворота и составляют весь продукт: модель предлагает, код располагает. Линия безопасности представляет собой один массив: const ALLOW = ['en.wikipedia.org', 'developer.mozilla.org', 'docs.python.org', 'datatracker.ietf.org']; Модель предполагает источники. Это никогда ничего не приносит. Код решает, что может быть запрошено, поэтому предлагаемый URL-адрес, указывающий на что-то интересное, просто удаляется до того, как будет отправлен запрос. Часть, где я проверяю свою работу В этом проекте у меня есть правило: ни одно число не появляется на экране, пока я точно не узнаю, что оно означает. Поэтому, прежде чем отпраздновать 47% отказов, я вытащил все