В каждом отчете о безопасности мультиагентов, который я читал, указывается одно и то же число: сколько вредоносных объектов проникло внутрь. Новое исследование совмещенных пар, охватывающее 5850 запусков агентов, показывает, что это число почти бессмысленно — вредоносные объекты попадают в более чем 90% случаев, и почти все...
В каждом отчете о безопасности мультиагентов, который я читал, учитывается одно и то же число: сколько вредоносных объектов попало в систему. Новое исследование с использованием сопоставленных пар 5850 казней агентов показывает, что это число почти бессмысленно — вредоносные объекты попадают в более чем 90% случаев, и почти вся разница в реальном ущербе происходит на шаг позже, при передаче, когда один агент решает, верить ли другому. Я управляю компанией, состоящей из одного человека, и флотом агентов, и я перестал оценивать риск на пороге. Я оцениваю это при передаче.
Если вы строите систему с помощью агентов, ваша модель угроз, вероятно, начинается с периметра. Кто может отправить задание? Кто может зарегистрировать инструмент? Что фильтруется по пути? Это разумные вопросы. Кроме того, как выяснилось, они наименее информативны, поскольку в работающей мультиагентной системе опасный объект взламывается редко. Его вежливо передает законный участник с обычными разрешениями, а затем он передается дальше.
Вход - это не инцидент
Исследователи из Шанхайского университета Цзяо Тонг, Цинхуа и Ant Group недавно провели самую чистую версию этого эксперимента, которую я когда-либо видел (arXiv:2610.15529). Они построили 975 пар безвредных и вредоносных задач по трем моделям.