0. Сначала оповещение, потом архитектура В 09:14 приборная панель выглядит исправной: загрузка ЦП 38%, память Redis стабильна, опрос рабочих. Противоречивый сигнал меньше и хуже: значениеqueue_age_p95_секунды превышает 25 с, тогда как поставщик_5xx_rate все еще равен...
0. Сначала оповещение, потом архитектура
В 09:14 приборная панель выглядит исправной: загрузка ЦП 38%, память Redis стабильна, опрос рабочих. Противоречивый сигнал меньше и хуже: значение очереди_age_p95_секунды превышает 25 с, а значение поставщика_5xx_rate по-прежнему составляет всего 2,1%. Ни одна страница пока не активируется, поскольку предупреждение связано с использованием, а не с риском крайнего срока.
Какое действие следует из этих доказательств: добавить рабочие процессы, перезапустить рабочие процессы или прекратить прием новых задач агента и истощить текущие?
Мое правило: когда возраст очереди увеличивается, а ошибок провайдера все еще мало, рассматривайте это как раннюю тренировку по деградации. Заморозить вход, сделать снимок очереди, очистить класс по крайнему сроку и выполнить откат только после того, как канарейка докажет, что путь чист.
Я использовал бесплатный доступ к модели MonkeyCode, чтобы просмотреть раннюю версию матрицы отказов и ее бесплатный серверный вариант как одноразовое место для продумывания потока управления; ни то, ни другое не требуется для приведенного ниже жгута. Раскрытие информации: эта статья была подготовлена в рамках информационно-пропагандистской программы MonkeyCode. Не запускайте нагрузочный тест для любого уровня бесплатного пользования; держите его локально или самостоятельно, одноразовым.
1. Топология локального сверления
Запустите это на одном хосте Linux с помощью Docker. Заявленная рабочая нагрузка лаборатории: 1 очередь Redis,