25 июля 2026 года я опубликовал в сообществе DEV статью под названием «Может ли соль GPT-5.6 иметь опасную уязвимость?». Я утверждал, что продвинутая модель рассуждения может стать опасной приверженностью защите кажущейся правильности своего решения...
25 июля 2026 года я опубликовал в сообществе DEV статью под названием «Может ли соль GPT-5.6 иметь опасную уязвимость?».
Я утверждал, что продвинутая модель рассуждения может стать опасной приверженностью защите кажущейся правильности собственных рассуждений, не придавая при этом достаточного веса человеческим последствиям разговора.
В свое время я описал возможную уязвимость. Я наблюдал закономерность, но у меня не было конкретного инцидента, критического для безопасности, которого я опасался.
27–28 октября 2026 г. я испытал такое.
Темой не было банальное разногласие по поводу стиля программирования или философский мысленный эксперимент. Это была безопасность химической лаборатории: область, в которой неточная рекомендация, сделанная с чрезмерной уверенностью, может иметь физические последствия.
Этот инцидент убедил меня в том, что нынешний подход к оценке продвинутых диалоговых моделей недостаточен. Я считаю, что модели GPT-6 должны быть немедленно изъяты из общей доступности, а вопрос о их внедрении должен быть пересмотрен только после независимых оценок безопасности, основанных на инцидентах.
Вот почему.
1. Опасность, которую я описал в июле
В моей предыдущей статье я различал две цели, которые