Создание мультимодельной конечной точки в SageMaker

Конечная точка с несколькими моделями — это обычная конечная точка SageMaker с двумя измененными полями и одним большим поведенческим последствием. Поля занимают пять минут. Последствие — то, что некоторая часть ваших запросов будет ждать, пока модель будет загружена из S3 и загружена в контейнер, прежде чем они получат ответ — это целая проблема дизайна, и именно этому посвящена в основном эта страница. Что на самом деле меняется в API Ровно две вещи, обе в определении контейнера, которое вы передаете в CreateModel. Вы устанавливаете для режима значение MultiModel и указываете ModelDataUrl на префикс S3, а не на одиночный файл model.tar.gz. Все последующие — CreateEndpointConfig, CreateEndpoint, производственный вариант, тип экземпляра — идентично конечной точке одной модели. Amazon документирует оба изменения на странице создания многомодельной конечной точки. Последствия второго изменения люди упускают из виду. Поскольку конечной точке дается префикс, а не манифест, она не знает, какие модели существуют. Он обнаруживает их во время вызова. Вот почему добавление модели — это просто загрузка S3 без обновления конечной точки, почему ее удаление — это удаление S3 и почему опечатка в имени модели во время вызова является ошибкой времени выполнения, а не ошибкой.