Большие языковые модели нарушили чистую модель производственного машинного обучения «обучай, тестируй, отправляй». Сейчас используется система, которая связывает подсказки, запрашивает векторные базы данных и выдает выходные данные, оцениваемые по тону и безопасности, а не только по...
Большие языковые модели нарушили чистую модель производственного машинного обучения «обучай, тестируй, отправляй». Сейчас используется система, которая объединяет подсказки, запрашивает векторные базы данных и выдает выходные данные, которые оцениваются по тону и безопасности, а не только по точности. Это LLMOps. И в настоящее время он используется поверх существующих рабочих процессов DevOps и MLOps без четкого владельца.
У Дэниела Брайанта из CNCF есть четкое представление о том, кто должен владеть им, и этот аргумент резче, чем кажется.
«LLMOps не нужно собственное королевство. Ему нужна хорошо управляемая платформа, готовая его впустить».
Что на самом деле изменилось
LLMOps — это не просто MLOps с новым названием. Разрыв реальный:
Масштаб и стоимость. Тонкая настройка и обслуживание LLM обходятся значительно дороже, чем классические модели.
Более нечеткая оценка — оценки точности не отражают безопасность, тон или надежность.
Текущие операции — модели дрейфуют, подсказки перестают работать, интеграция требует постоянного внимания
Новые примитивы — оперативное управление версиями, векторные хранилища, конвейеры RAG, конечные точки вывода.
Команды MLOps уже создали параллельный стек (MLflow, Kubeflow, Weights & Biases), поскольку инструменты DevOps никогда не предусматривали управление версиями данных или мониторинг отклонений. Без вмешательства LLMOps становится третьим