Обычная инструкция. Автономный агент. Потенциально необратимые последствия. И уровень безопасности, который не должен зависеть от того, что ИИ все сделает правильно. ⏱️30 секунд: О чем эта статья? Представьте, что вы просите агента искусственного интеллекта...
Обычная инструкция. Автономный агент. Потенциально необратимые последствия. И уровень безопасности, который не должен зависеть от того, что ИИ все сделает правильно.
⏱️30 секунд: О чем эта статья?
Представьте, что вы просите агента ИИ навести порядок в вашем проекте.
Он имеет доступ к вашим файлам. Он может выполнять команды. Он может редактировать код и удалять что-либо.
Вы ожидаете, что он удалит ненужные файлы.
Но что, если он неправильно поймет, какие файлы не нужны?
Ваша работа исчезает. Возможно, ваш проект перестанет работать. Возможно, вы потеряете то, на создание чего потратили месяцы.
Агент может сообщить, что задача выполнена успешно.
Проблема не только в том, что ИИ может совершать ошибки. Проблема в том, что у агента ИИ может быть разрешение превратить ошибку в реальное действие.
В этой статье мы объясним, чем агенты отличаются от обычных чат-ботов, как разработчики могут снизить риск и как Sentinel подходит к одной важной части проблемы: проверке изменений в коде JavaScript до того, как они будут приняты в базу кода.
Есть три уровня чтения. Начните с той части, которая вам подходит.
Часть 1. Для всех, включая людей, которые никогда не создавали ИИ-агента.
Разговаривает чат-бот. Возраст