В моей рекомендательной системе товары из последующих зарегистрированных покупок чаще терялись до ранжирования. Я увеличила квоты кандидатов из описаний и изображений: общий предел вырос с 300 до 370. Затем пересчитала признаки и переобучил...
В моей рекомендательной системе товары из последующих зарегистрированных покупок чаще терялись до ранжирования. Я увеличила квоты кандидатов из описаний и изображений: общий предел вырос с 300 до 370. Затем пересчитала признаки и переобучила LightGBM на прежних данных.
На 625 сессиях с зарегистрированной целью покрытие кандидатов выросло с 66,24% до 68,96%, но попаданий в первые 20 стало 388 вместо 389. В статье показываю разбор потерь, условия эксперимента и решение сохранить исходный вариант — без заявления о его статистическом превосходстве.
Проект построен на данных Coveo. Код и инструкция воспроизведения открыты.
Разобрать эксперимент