Первоначально опубликовано на сайте erikhill.dev. Числа ниже сверены с репозиторием, из которого они взяты. Это вывод о показаниях моего собственного инструмента, а не о его результате. Номер не двигался. evalmut берет оценочный кейс для вашего оценщика...
Первоначально опубликовано на сайте erikhill.dev. Числа ниже сверены с репозиторием, из которого они взяты.
Наш рейтинг мутаций показал 42 из 46 обнаруженных. Это означало 42 из 46 отмеченных.
Это вывод о показаниях моего собственного инструмента, а не о его результате. Номер не двигался.
Что случилось
evalmut принимает кейс, который ваш грейдер уже прошел, и обнаруживает известный дефект в
вывод и повторно запускает оценщик. Если оценщик по-прежнему выдает заведомо неправильный результат,
это дыра: класс регрессии, который ваш оценщик разрешил бы отправить зеленым.
Честная проверка такого инструмента — указать ему на его собственную зависимость, поэтому evalmut
работает с семействами оценщиков Gradecore, и README печатает результат:
Оценка мутаций 91,3% (42 обнаруженных / 46 примененных; 223 н/д)
отверстия 4 (2 глухих, 2 зазора покрытия)
Я отправил это. Затем я пошел смотреть, что стоит за словом «поймал».
Два факта, и ни один из них не «пойман»
Прогон показал, что Gradecore был импортирован через Inspect.getfile. И оно записало
метка для каждой строки. Вот и все.
Метка «Импорт плюс» не достигает того, что читатель слышит в слове «пойман». Пойманный говорит
грейдер посмотрел на дефектный результат и отклонил его. Импорт говорит правильный модуль
загружен. Между прочим