Пройденный тестовый запуск патча агента доказывает одно: выполненные тесты на входных данных, которые они использовали, с существующими на данный момент приборами, вернули зеленый цвет. Это узкое утверждение в широком костюме. Я перестала лечиться...
Пройденный тестовый запуск патча агента доказывает одно: выполненные тесты на входных данных, которые они использовали, с существующими на данный момент приборами, вернули зеленый цвет. Это узкое утверждение в широком костюме.
Я перестал рассматривать зеленый запуск как вердикт и начал извлекать три числа из каждого патча агента перед слиянием: переместились ли домены свойств, можно ли все еще восстановить приборы по их рецептам и какая часть пакета заморожена. Каждое число отвечает на вопрос, на который не может ответить бит «прошел/не прошел».
Это не общая теория правильности. Это шлюз, который я построил после того, как увидел, как агент сделал тест свойства зеленым, сократив диапазон ввода с 512 символов до 8, и наблюдал, как другой вручную редактирует фикстуру до тех пор, пока тест синтаксического анализатора не согласится с ним.
1. Закрепите домен объекта недвижимости как данные, а затем отпечатайте его.
У тестов на основе свойств есть слабость, которой нет у тестов на основе примеров: их входной домен находится в коде, в том же файле, что и утверждение, и поэтому доступен для редактирования с помощью того же патча, который должен тестироваться.
У агента, которого попросили пройти неудачный тест на недвижимость, есть три дешевых хода. Подтянуть генератор, добавить фильтр, отсеивающий авквар