Сходство текста: каждый метод и что он на самом деле обнаруживает

«Насколько похожи эти два текста?» — это четыре разных вопроса, заключенных в одно предложение. Сходство на уровне символов, перекрытие наборов, лексическое взвешивание и семантическое сходство решаются разными алгоритмами с разницей в стоимости на пять порядков, и выбор неправильного алгоритма является обычной причиной разочарования в системе дедупликации или сопоставления. Скажи, какое сходство ты имеешь в виду Четыре разных понятия, и прежде чем открывать библиотеку, стоит назвать свое: Поверхностное сходство. Это почти одни и те же персонажи? Джонатан Смит против Джонатана Смтиха. Опечатки, ошибки OCR, транслитерация. Установите сходство. Делятся ли они большей частью своего контента? Два экземпляра статьи с измененным заголовком. Это обнаружение почти дубликатов. Тематическое сходство. Это об одном и том же? Два документа по политике процентных ставок, которые имеют общий словарный запас, но не являются копиями. Семантическая эквивалентность. Означают ли они одно и то же? как мне отменить прекращение вашей подписки, в которой вообще нет слов содержания. Ни один показатель не охватывает все четыре. Метод, который хорош в первом случае, по своей конструкции слеп к последнему, и наоборот. Методы, по которым они обнаруживают Метод Описание точный