Тестирование «черного ящика» с помощью агентов ИИ: проверяйте правила, а не код

Один из самых полезных отчетов об испытаниях ИИ, которые я когда-либо видел, был получен от агентов, которые никогда не видели ни одной строчки кода приложения. В компании, в которой я работал, мы провели простой эксперимент. Мы передали моделям бизнес-правила уже построенной системы и ничего больше. Ни репозитория, ни документации по архитектуре, ни схемы базы данных. Модели писали тесты из правил, а затем запускали эти тесты для работающего приложения. В конце мы получили список всех мест, где приложение не делало то, что компания должна была делать. Этот список был полезнее любого зеленого набора тестов, потому что каждая строка в нем была правилом, которое система нарушала. И причина, по которой это сработало, не в том, что модели были особенно умными. Дело в том, что они не знали, как реализована система, поэтому не могли обойти ее в своих тестах. Это тестирование «черного ящика» с использованием ИИ-агентов: агент проверяет поведение на соответствие спецификации извне, как это сделал бы клиент или аудитор. В этом посте рассматриваются: Почему агенты, умеющие читать код, пишут более слабые тесты, чем вы думаете. Как настроить конвейер черного ящика: правила, тестовые примеры, выполнение, отчет о результатах. Подсказки, формат файла и форма отчета