Qwen-Max и Wan 2.1: Разработка архитектуры субсекундной генерации персоны ИИ на базе Burstable ECS с нулевым холостым объемом ОЗУ от ShadowSocial.io через обратный прокси-сервер Caddy

Qwen-Max и Wan 2.1: Разработка архитектуры субсекундной генерации персоны ИИ на базе Burstable ECS с нулевым холостым объемом ОЗУ от ShadowSocial.io через обратный прокси-сервер Caddy Создание генерации персоны с помощью ИИ, которая мгновенно воспринимается пользователями, является сложной инженерной задачей. Мы боролись с этим в ShadowSocial.io, особенно при интеграции таких моделей, как Qwen-Max и Wan 2.1. Цель: время генерации менее секунды, даже под нагрузкой, без обычных огромных затрат на инфраструктуру. Традиционные подходы часто подразумевают постоянную загрузку больших моделей в оперативную память. Это огромная утечка ресурсов, дорогая и плохо масштабируемая при непредсказуемом трафике. Нам нужен был способ быстро решать эти ресурсоемкие задачи, платя только за то, что мы используем, и, что особенно важно, сохраняя использование оперативной памяти в режиме ожидания на нулевом уровне. Наше решение зависит от нескольких ключевых моментов. Во-первых, мы используем расширяемую службу Elastic Compute Service (ECS), которая действительно предлагает нулевую неиспользуемую оперативную память. Это означает, что наши серверы компактны и скупы и готовы к масштабированию в момент поступления запроса. Когда поступает запрос на создание персоны, он не затрагивает напрямую модель ИИ. Вместо этого он попадает на Caddy, наш обратный прокси. Caddy настроен на интеллектуальную маршрутизацию этих запросов.