Поиск по ключевым словам связывает специальный слой памяти с 200 вопросами LongMemEval.

Я собираю одну из систем в этом тесте, поэтому сделайте соответствующую скидку. Публикую цифры, потому что они меня удивили и потому что скучный результат оказывается интересным. Установка: 200 вопросов от LongMemEval, три способа запоминания модели на одном и том же материале. Соавтор проверил все три руки с помощью одного и того же ридера (Qwen 3,8 27B, Q4) и по одной и той же шкале оценок. Слой структурированной памяти (MemStrata, мой продукт): факты, хранящиеся с указанием их происхождения и достоверности, извлекаемые в виде структурированных доказательств. SQLite FTS5: полнотекстовый поиск по простому ключевому слову по необработанному тексту. Базовый уровень все пропускают. Вики LLM: шаблон, в котором LLM постепенно записывает и поддерживает связанные страницы уценки, а также ответы с этих страниц. Результаты: МемСтрата 188/200 94,0% SQLite FTS5 184/200 92,0% LLM вики 163/200 81,5% Разрыв в 4 вопроса между уровнем памяти и FTS5 находится в пределах шума при n = 200. Назовите это ничьей. Отставание в вики в 25 вопросов – это не шум. Детализация категории, уровень памяти и FTS5: Обновление знаний: 29/31 против 31/31 (безоговорочная победа FTS5) Временное мышление: 50/53 против 47/53. Мультисессия: 48/53 против 46/53 Предпочтение: 12/12 против 12/11. Одна сессия: одинаково по обеим подкатегориям Две вещи, которые я беру из