Сопоставление каталогов с LLM: почему изменение знаний должно оставаться за пределами модели

Сопоставление каталогов продуктов выглядит простым, пока не появятся реальные данные. Один и тот же продукт может появляться под разными названиями, сокращениями, языками, единицами измерения, условностями бренда или структурами категорий. Обычно человек может распознать эти вариации, но автоматизированная система должна их формализовать. Один из очевидных подходов — обучить локальную модель на исторических совпадениях, развернуть ее в выделенной инфраструктуре и периодически настраивать по мере появления новых ошибок. Это привлекательно, поскольку при наличии инфраструктуры вывод может быть относительно недорогим. Более сложный вопрос заключается не в том, может ли такая модель выполнять сопоставление каталогов. Он может. Вопрос в том, как система должна со временем адаптировать новые соглашения об именах, терминологию, специфичную для поставщиков, и правила сопоставления. Если каждый новый шаблон необходимо внедрять в рамках другого цикла обучения, адаптация модели быстро становится постоянным процессом обслуживания машинного обучения. Для решения такого типа проблем мы сочли более полезным задать другой архитектурный вопрос: должно ли изменение знаний о предметной области вообще учитываться в весах модели? Почему одного тренировочного цикла недостаточно Одна и та же сущность может быть представлена по-разному в разных каталогах.