5 октября GitHub представил ReviewBench — общедоступный тест для оценки проверки кода ИИ. Его оценка отделяет действительные выводы от пропущенных проблем и позволяет читателям проверять результаты по серьезности и категории. Это различие полезно для...
5 октября GitHub представил ReviewBench — общедоступный тест для оценки проверки кода ИИ. Его оценка отделяет действительные выводы от пропущенных проблем и позволяет читателям проверять результаты по серьезности и категории.
Это различие полезно и для небольшой команды. Десять комментариев по поводу именования и одна воспроизводимая ошибка авторизации — это совершенно разные результаты.
Попробуйте провести небольшую оценку изменений, которые вы уже поняли. Сохраняйте модель и инструкции неизменными. Для каждого обнаружения запишите, можете ли вы его воспроизвести, изменили ли вы из-за него код и насколько серьезным был дефект. Также запишите важные вопросы, которые пропустил рецензент.
Используйте как обычный патч, так и заведомо бракованный. Рецензент, постоянно придумывающий проблемы, создает работу, даже если его комментарии звучат убедительно.
Если вы запросите у системы «более тщательную» проверку, проверьте, находит ли она больше реальных дефектов или просто пишет более длинные пояснения. Отделите предпочтения стиля от ошибок, прежде чем рассчитывать результат.
Мой вывод: решите, в принятии каких решений вам нужна помощь, а затем оцените эти решения. Рассматривайте таблицу лидеров как отправную точку для оценки вашей кодовой базы.
Обложка представляет собой редакционную иллюстрацию.