Резюме: Трансграничный поиск не решается путем однократного перевода запроса: токенизация, морфология, нормализация символов и порядок слов — все это меняет то, что вспоминается. Работоспособная архитектура имеет три уровня: анализ, специфичный для языка...
Резюме: Трансграничный поиск не решается путем однократного перевода запроса: токенизация, морфология, нормализация символов и порядок слов — все это меняет то, что вспоминается. Работоспособная архитектура имеет три уровня — специфичный для языка анализ, векторное выравнивание и локализованное ранжирование — и удаление любого из них оставляет пробел в запоминании на каком-либо языке.
Покупатель из Германии ищет «wasserdicht jacke», покупатель из Японии ищет ту же водонепроницаемую куртку на японском языке, а покупатель из Таиланда вводит текст тайским шрифтом без пробелов. Благодаря одному конвейеру поиска, который разбивается на пробелы и нормализуется по английским правилам, все три запроса возвращаются неполными. Трудность не в том, точен ли перевод; он состоит из четырех уровней — токенизации, морфологии, нормализации символов и локализации ранжирования, а также того, как согласовать язык запросов с языком документа, если они различаются. В этой статье описывается порядок проблем, архитектура, токенизация, межъязыковое извлечение, ранжирование и измерение, а также приводятся две сравнительные таблицы и контрольный список развертывания.
Ключевые выводы
Первым препятствием в трансграничном поиске является токенизация: китайский, японский и тайский языки записываются с помощью