Проблема: каждый запрос имеет один и тот же уровень Когда я впервые увидел новые уровни обслуживания Bedrock, я подумал, что решение будет Но прежде чем внедрять эту логику в маршрутизатор, я хотел ответить на более простой вопрос: Таблица цен делает...
Проблема: каждый запрос имеет один и тот же уровень
Когда я впервые увидел новые уровни обслуживания Bedrock, я подумал, что решение будет
довольно просто: используйте приоритет, когда задержка имеет значение, значение по умолчанию для обычного трафика,
и Flex для всего, что может подождать.
Но прежде чем внедрять эту логику в маршрутизатор, я хотел ответить на более простой вопрос:
действительно ли Priority ускоряет мои запросы?
Таблица цен делает это очевидным: стоимость приоритета примерно в 1,75 раза выше, чем по умолчанию,
Flex стоит примерно 0,5 × по умолчанию. В таком ценообразовании заложено то, что вы
получить что-то пропорциональное взамен. Я не хотел строить маршрутизатор поверх этого
предположение без предварительной проверки. Поэтому я проверил это.
Результаты изменили мое представление обо всей проблеме.
Почему этот эксперимент, почему именно сейчас
В документации AWS указано, для чего предназначен каждый уровень. Ценообразование расскажет вам
очевидный экономический стимул. Но ни один из них не говорит вам, что происходит с вашим конкретным
рабочая нагрузка, регион и структура трафика.
Я не хотел создавать еще одну демонстрацию типа «Flex — для пакетной обработки, Priority — для реального времени».
Я хотел посмотреть, что на самом деле произошло, когда я пропустил реальные запросы через все три
уровни, моделировали экономику