𝗬𝗼𝘂𝗿 𝗔𝗜-𝗴𝗲𝗻𝗲𝗿𝗮𝘁𝗲𝗱 𝗰𝗼𝗱𝗲 𝗰𝗮𝗻 𝗽𝗮𝘀𝘀 𝗲𝘃𝗲𝗿𝘆 𝘁𝗲𝘀𝘁 𝗮𝗻𝗱 𝘀𝘁𝗶𝗹𝗹 𝗯𝗲 𝘄𝗿𝗼𝗻𝗴. Представьте себе функцию скидок, которая проходит все тесты, но принимает скидку 150 % и возвращает отрицательную сумму. Тесты г...
𝗬𝗼𝘂𝗿 𝗔𝗜-𝗴𝗲𝗻𝗲𝗿𝗮𝘁𝗲𝗱 𝗰𝗼𝗱𝗲 𝗰𝗮𝗻 𝗽𝗮𝘀𝘀 𝗲𝘃𝗲𝗿𝘆 𝘁𝗲𝘀𝘁 𝗮𝗻𝗱 𝘀𝘁𝗶𝗹𝗹 𝗯𝗲 𝘄𝗿𝗼𝗻𝗴.
Представьте себе функцию скидок, которая проходит все тесты, но принимает скидку 150 % и возвращает отрицательную сумму.
Тесты зеленые. Реализация неправильная.
Как это происходит?
Потому что реализация и ее тесты могут использовать одно и то же неверное предположение.
Вот почему 𝗽𝗿𝗼𝘃𝗶𝗻𝗴 𝗰𝗼𝗿𝗿𝗲𝗰𝘁𝗻𝗲𝘀𝘀.
В своей последней статье я исследую:
Почему тесты счастливого пути могут создать ложную уверенность
Как контрактное и граничное тестирование выявляет скрытые ошибки
Где помогают тестирование на основе свойств и тестирование на мутации
Что следует проверять разработчикам при работе с кодом, созданным ИИ
Я также опубликовал воспроизводимый эксперимент на Python, чтобы вы могли запустить тесты и самостоятельно увидеть пробел.
📖 𝗥𝗲𝗮𝗱 𝘁𝗵𝗲 𝗮𝗿𝘁𝗶𝗰𝗹𝗲:
https://medium.com/@pranavdixit20/ai-generated-code-can-pass-every-test-and-still-be-wrong-7ddf3177b721
💻 𝗘𝘅𝗽𝗹𝗼𝗿𝗲 𝘁𝗵𝗲 𝗰𝗼𝗱𝗲:
https://github.com/PranavDixit20/ai-code-test-gap
𝗤𝘂𝗲𝘀𝘁𝗶𝗼𝗻 𝗳𝗼𝗿 𝗱𝗲𝘃𝗲𝗹𝗼𝗽𝗲𝗿𝘀: При проверке кода, сгенерированного ИИ, чему вы доверяете больше всего — передаче