Canary — продвижение модели уровня бесплатного пользования с ограничениями скорости, усечением и теневым шлюзом

Нарушающий порядок событий в первую очередь Вот последовательность, которую я видел, вызывающую тихий регресс производства, когда команда переключила серверную часть агента на конечную точку свободной модели, чтобы сократить расходы: Маршрутизатор t1 перемещает 100% трафика на свободную конечную точку Свободная конечная точка t2 начинает возвращать 429 с при пакетной нагрузке клиент t3 повторяет попытки с экспоненциальной задержкой; повторить попытку шторма, тройки предложенной нагрузки Конечная точка t4 отсекает длительные завершения, чтобы оставаться в рамках бюджета пропускной способности. Агент t5 анализирует усеченный вызов инструмента JSON и автоматически возвращается к действию по умолчанию. Панели мониторинга t6 показывают «успех»: задержка восстановлена, уровень ошибок равен нулю. Каждый отдельный компонент вел себя так, как задумано. Нарушившийся инвариант системного уровня никогда не был заявлен: Инвариант: качество действий агента в конечной точке-кандидате должно быть статистически неотличимо от первичной конечной точки при введенных классах отказов, измеренных по явному знаменателю, до любого изменения производственного трафика. Переключение с учетом затрат почти никогда не проверяет это, поскольку режимы отказа бесплатного уровня (ограничение скорости, усечение, задержка в очереди) проявляются только при нагрузке, после переключения. В этой статье создается недостающая часть: теневой протокол оценки, в котором кандидат endp