Muse Glimmer от Meta: настоящая агентная модель, которая подходит для вашего собственного графического процессора

10 августа Meta выпустила Muse Glimmer, открытую модель с 30 миллиардами параметров, созданную специально для запуска локальных агентов ИИ на потребительском оборудовании — планирования, организации файлов, вызова инструментов, многоэтапных задач — без отправки каких-либо из них на серверы Meta. Веса на Hugging Face указаны под лицензией Apache 2.0, поэтому коммерческих ограничений на их использование нет. Чем эта отличается от прошлой волны «локальных» моделей Модели 7B и 13B, которые заполнили библиотеку Олламы за последние пару лет, были надежными генераторами текста, но слабыми агентами. Многоэтапное рассуждение терялось, вызовы инструментов терпели неудачу на полпути, и они теряли представление о том, что происходило на три шага назад в задаче. Glimmer — это ответ Meta на этот пробел, в частности — это упрощенная, ориентированная на эффективность производная от более крупной модели Meta Muse Spark 1.2, специально созданная для «постоянных» агентских рабочих процессов: такая штука, которая должна постоянно работать на персональном компьютере, а не отвечать на одно приглашение за раз. Что на самом деле нужно для запуска 30B параметров, объем квантованной памяти 18–20 ГБ — в пределах досягаемости современных потребительских графических процессоров высокого класса, серверная стойка не требуется Обрабатывает чередующийся текст и изображение.