Реальная цена Turbo4: от чего вы отказываетесь, отказываясь от копии полной точности

Воспроизводимый тест, измеряющий отзыв, хранилище и пропускную способность для пяти моделей внедрения: сравнение типа данных Turbo4, предназначенного только для хранения, в Qdrant 1.19 с моделью TurboQuant с двумя копиями с повторной оценкой. Когда в Qdrant 1.19 появился тип данных Turbo4, он представил инженерам векторного поиска убедительное ценное предложение: полностью отказаться от векторов полной точности, сохранить только крошечную 4-битную сжатую версию и сократить объем хранилища коллекций в девять раз. Но эта огромная экономия на сжатии приводит к немедленным эксплуатационным компромиссам. Поскольку исходные векторы полностью удаляются с диска, не остается базовой базовой линии полной точности, по которой можно было бы дважды проверять точки-кандидаты во время поиска. В результате метрики расстояния, полученные из 4-битных сжатых представлений, становятся окончательной оценкой поиска, устраняя традиционную систему безопасности, используемую для исправления ошибок квантования. До этого обновления стандартные производственные установки, работающие на Qdrant 1.18, полагались на TurboQuant, стандартный 4-битный уровень квантования Qdrant. Чтобы гарантировать высокую точность поиска, TurboQuant поддерживает архитектуру двойного копирования: Копирование в памяти: 4-битный сжатый вектор, хранящийся в быстрой оперативной памяти для быстрого копирования.