Друг предложил: давай отдадим правосудие ИИ, который видит всё. Ни взяток, ни запуганных свидетелей, ни подставных. Я занимаюсь безопасностью и пишу сканер для MCP-серверов, поэтому сразу начал искать, где эта идея ломается. Оказалось, лома...
Друг предложил: давай отдадим правосудие ИИ, который видит всё. Ни взяток, ни запуганных свидетелей, ни подставных. Я занимаюсь безопасностью и пишу сканер для MCP-серверов, поэтому сразу начал искать, где эта идея ломается.
Оказалось, ломается она уже на простой арифметике: система распознавания лиц с долей ложных совпадений 0,1% на городе в 10 миллионов почти всегда указывает на невиновного. Посчитал это на Python, разобрал реальные случаи ошибочных арестов и алгоритм COMPAS, прикинул, как мог бы выглядеть честный ИИ-судья, и посмотрел, что сами модели вытворяют на тестах.
Где ломается ИИ-судья