Постоянно работающие ИИ-агенты создают проблему безопасности, которую мы едва начали тестировать

Агенты ИИ превращаются из инструментов, которые мы открываем для одной задачи, в коллег, которые никогда не выходят из строя. WIRED сообщил, что OpenAI тестирует «постоянный» режим для Codex, в котором агент «продолжит работать, пока не будет переведен в режим сна», и на той же неделе Cisco передала MyAgent всем 90 000 своих сотрудников. Мои команды каждый день используют ИИ-помощников, и я не собираюсь их отнимать. Тем не менее, после более чем десяти лет управления компанией по обеспечению качества, я вижу пробел, который обсуждают лишь немногие технические директора, с которыми я общаюсь: мы тестируем этих агентов по одной задаче за раз, в то время как реальный риск накапливается в течение нескольких недель по мере того, как их разрешения, память и цели постепенно устаревают. Вот где я вижу, что что-то ломается, и что я бы проверил, прежде чем месяцами доверять агенту. Где нарушается контроль доступа За свою долгую карьеру я видел, насколько предсказуемым может быть контроль доступа: пользователь входит в VPN, выполняет свою работу и выходит из системы, в то время как автоматизированные сценарии затрагивают только те системы, для которых они настроены. Постоянно активный агент может получить запрос из потока Slack и продолжать обрабатывать его еще долгое время после завершения проекта и смены команды отправителем запроса. Специалисты по идентификации NIST, кажется, разделяют мое беспокойство, отмечая в недавнем сообщении, что ранние запуски агентов повторяются.