Не все модели многоязычного внедрения одинаковы — тестирование 5 из них

Входит в серию «От галлюцинации к точности». Если ваши документы RAG составлены на английском языке, а пользователи выполняют поиск на немецком, французском или испанском языке, вы уже знаете, что вам нужна «многоязычная» модель внедрения. Но какой? «Многоязычность» — это не одно и то же, это ярлык, который охватывает модели самых разных размеров, возрастов и подходов к обучению, и не все они работают одинаково. Я протестировал пять многоязычных моделей внедрения для выполнения одной и той же задачи: небольшая база знаний английского языка, полностью построенная вокруг одного предмета — кошки — с несколькими почти повторяющимися предложениями, запросы по ключевым словам на трех других языках и один вопрос — извлекает ли каждая модель точное правильное предложение? Все локально, через преобразователи предложений, без ключей API. В этом посте показан точный код и точные цифры, которые он выдал. Пять моделей Модель Дим Что это такое перефраз-многоязычный-MiniLM-L12-v2 384 Меньше, старше (2021 г.), охватывает более 50 языков. перефраз-многоязычный-mpnet-base-v2 768 Увеличенная версия того же семейства. intfloat/многоязычный-e5-маленький 384 Новая, конкурентоспособная многоязычная модель поиска. intfloat/многоязычный-e5-base 768 То же семейство E5, но больше distiluse-base-multilingual-case-v2 512 Компактный, быстрый