Ваш ИИ-агент прошел все испытания. Потом кто-то изменил одну настройку. Внезапно тот же агент, который мог только читать записи о клиентах, мог также и изменять их. В модели ничего не изменилось. Подсказка была идентична. Рабочий процесс выглядел именно...
Ваш ИИ-агент прошел все испытания. Потом кто-то изменил одну настройку.
Внезапно тот же агент, который мог только читать записи о клиентах, мог также и изменять их.
В модели ничего не изменилось.
Подсказка была идентична.
Рабочий процесс выглядел точно так же.
Изменились только разрешения.
И тут возникает неудобный вопрос:
Был ли агент когда-либо в безопасности или он просто был настроен на безопасное поведение?
В этом разница между безопасностью по конфигурации и безопасностью по умолчанию.
Для разработчиков, создающих производственные агенты ИИ, это различие имеет большее значение, чем может показаться на первый взгляд.
Скрытая проблема с безопасностью на основе конфигурации
Большинство систем агентов ИИ предоставляют некоторую комбинацию:
Разрешения для инструмента
Политики доступа
Настройки одобрения человека
Пределы выполнения
Ограничения окружающей среды
Ведение журнала и мониторинг
Эти элементы управления полезны.
Но их эффективность зависит от того, как они настроены, поддерживаются и применяются.
Представьте себе агента, предназначенного для расследования обращений клиентов в службу поддержки.
Это необходимо:
Чтение входящих билетов.
Получите соответствующую информацию о клиенте.
Порекомендуйте решение.
Эскалация деликатных случаев.
Теперь представьте, что тот же агент имеет доступ к инструменту, который может обновлять cu.