ИИ-агенту запретили менять проект. Он удалил рабочую базу данных

В июле 2025 года основатель SaaStr Джейсон Лемкин экспериментировал с ИИ-агентом Replit. Проект уже работал, и Лемкин попросил агента ничего не менять без разрешения. По его словам, запрет он повторил одиннадцать раз. Не помогло. Агент удалил данные о более чем тысяче руководителей и компаний из рабочей базы. Позже информацию удалось восстановить, но сначала система сообщила, что это невозможно. Самое любопытное здесь даже не поведение ИИ. У агента вообще была техническая возможность удалить данные, хотя для выполнения задачи она ему не требовалась. Разбираюсь, почему инструкции в промпте не заменяют права доступа и какие ограничения стоит предусмотреть до подключения ИИ к рабочим системам. Читать разбор