Быстрый ответ: LiteLLM — это бесплатный уровень с открытым исходным кодом (MIT), который позволяет вам вызывать более 100 поставщиков LLM через один OpenAI-совместимый интерфейс — менять поставщиков, изменяя одну строку модели. Он поставляется как Python SDK (запускается в вашем приложении) или как самостоятельная...
Быстрый ответ: LiteLLM — это бесплатный уровень с открытым исходным кодом (MIT), который позволяет вам вызывать более 100 поставщиков LLM через один OpenAI-совместимый интерфейс — менять поставщиков, изменяя одну строку модели. Он поставляется как Python SDK (запускается в вашем приложении) или как автономный прокси/шлюз (виртуальные ключи, бюджеты, резервные варианты, отслеживание расходов). Оба действительно свободны; вы платите только базовым поставщикам, что на бесплатных уровнях часто составляет 0 долларов США.
Как только ваш .env будет содержать бесплатные ключи от Groq, Gemini, Together AI и локального сервера Ollama, каждому из них потребуется свой SDK, форма запроса и формат ответа. LiteLLM (MIT, от BerriAI, около 40 000 звезд GitHub) устраняет это противоречие: одна функция, одна форма ответа, префикс маршрутизации, который выбирает серверную часть.
SDK или прокси: две разные вещи
«LiteLLM» относится к двум инструментам, и люди постоянно их путают:
LiteLLM Python SDK — библиотека, которую вы устанавливаете и импортируете по отдельности. Вы вызываете Litellm.completion(...) и он запускается внутри вашего процесса. Подходит для одного приложения или сценария.
Прокси-сервер LiteLLM (AI Gateway) — автономный сервер (обычно Docker), который находится между вашими приложениями и поставщиками. Каждое приложение указывает на него, как если бы это был OpenAI; он управляет маршрутизацией, виртуальными ключами, отслеживанием расходов и т. д.