ТЛ;ДР Инструмент MCP, сжимающий контекст, сократил то, что мой агент отправлял модели, в среднем на 78% по каждому вопросу. Он ответил правильно на 7 из 10, против 9 из 10 с полными файлами. Каждая ошибка связана с одной маленькой деталью: файл показан без...
ТЛ;ДР
Инструмент MCP, сжимающий контекст, сократил то, что мой агент отправлял модели, в среднем на 78% по каждому вопросу.
Он ответил правильно на 7 из 10, против 9 из 10 с полными файлами.
Все промахи объяснялись одной маленькой деталью: файлом, показанным без папки.
Попутно я обнаружил ошибку, которую основатель исправил за два дня, а также ошибку в моем собственном тесте.
Агенты кодирования читают много кода. Каждый файл, который вы вставляете в приглашение, стоит жетонов, времени и денег, поэтому появился новый вид инструмента: отправьте ему свои файлы, и вместо этого он передаст модели обрезанный вид.
Показать, что количество токенов уменьшается, легко. Более сложный вопрос — тот, который имеет значение:
Получает ли агент правильный ответ?
Я выбрал один из этих инструментов, Hexum, размещенный сервер MCP, и устроил честную борьбу, чтобы выяснить это.
Бой
Я написал 10 вопросов о реальных библиотеках Python и TypeScript с открытым исходным кодом: такие, как «какая функция вызывает этот помощник?» и «что эта функция возвращает при пустом вводе?»
Затем я задал Близнецам каждый вопрос тремя способами:
Полные файлы. Все идет в подсказку.
Гексум. Модель получает обрезанный вид Hexum, а также инструмент для полного расширения любой функции, которую она хочет прочитать.
Никаких файлов вообще. Просто эт