Функции искусственного интеллекта легко продемонстрировать и сложно запустить в производство. Модели выходят из строя, возвращают неверные выходные данные, требуют денег за каждый вызов и иногда отвечают с полной уверенностью и без точности. Вот как их создать, чтобы остальная часть вашего приложения...
Функции искусственного интеллекта легко продемонстрировать и сложно запустить в производство. Модели выходят из строя, возвращают неверные выходные данные, требуют денег за каждый вызов и иногда отвечают с полной уверенностью и без точности. Вот как их создать, чтобы остальная часть вашего приложения оставалась надежной.
1. Храните звонки моделей на сервере
Никогда не вызывайте модель из браузера. Храните ключи, подсказки и логику провайдера в своем собственном API, чтобы вы могли добавлять аутентификацию, ограничения скорости, ведение журналов и изменения провайдера, не затрагивая клиент.
2. Ограничьте вывод
Запросите структурированный вывод и проверьте его перед использованием. Ответ, не соответствующий схеме, следует рассматривать как ошибку, а не передавать в пользовательский интерфейс.
импортировать { z } из "zod";
const Ответ = z.object({
ответ: z.string(),
уверенность: z.enum(["низкая", "средняя", "высокая"]),
});
экспортировать асинхронную функцию Ask (вопрос: строка) {
попробуй {
const raw = ждут callModel (вопрос);
const parsed = Reply.safeParse(JSON.parse(raw));
if (parsed.success && parsed.data.confidence !== "низкий") {
return {...parsed.data, эскалация: false};
}
} поймать {}
вернуть {
ответ: «Я в этом не уверен. Позвольте передать вас человеку.»,
уверенность: «низкая»,
эскалация: правда,
};
}
callModel означает тонкую оболочку