Маленькие модели, где они выигрывают

Вопрос «какую модель нам следует использовать» обычно некорректен. Для работы по классификации ответом являются две модели и порог. Схема: этикетка большая, порция маленькая. Когда конвейер необходимо классифицировать по объему, категориям, спаму, намерению, языку, мы не вызываем граничную модель для каждого элемента. Мы вызываем это один раз для каждого набора данных: даем большую модель пометить 30 000 исторических примеров с помощью тщательно разработанной рубрики, вручную проверяем выборку, а затем выделяем эти метки в небольшую модель, которая работает на нашем собственном компьютере. Решение пограничной модели компилируется во что-то, что соответствует цене электроэнергии за 15 мс. Маршрутизатор обрабатывает жесткий хвост const p = small.classify(x); // ~15 мс, включено в комплектацию, фактически бесплатно если (p.confidence >= 0,92) вернуть p.label; вернуть границу.классифицировать(х); // ~1,5 с, те 7%, которые этого заслуживают В нашем распределении 93% элементов преодолевают пороговое значение локально, а согласие с граничной моделью в этом срезе превышает 99%. Неопределенным 7% достаются дорогие мозги. Смешанная стоимость оказывается на два порядка ниже, чем вызов граничной модели для всего, а задержка p50 снижается с секунд до миллисекунд, что важно, когда классификатор находится внутри user-f.