RetryBudget-24: когда правильное решение о повторной попытке по-прежнему не соответствует контракту JSON

Это заявка на участие в конкурсе Kaggle Benchmarking Challenge. Что я сравнивал Компонент ИИ, консультирующий API-клиента, выполняет две задачи: выбрать правильное действие и вернуть то, что клиент действительно может проанализировать. RetryBudget-24 тестирует эти задания вместе, а затем разделяет их режимы сбоя для анализа. Каждый вопрос описывает неудачный или завершенный запрос и предоставляет явную синтетическую политику повторных попыток. Модель возвращает ровно два поля: {"action":"RETRY","delay_ms":100} Действия: DONE, STOP, RECONCILE и RETRY. Политика охватывает приоритет статусов, ограничения попыток, гарантии идемпотентности, ограниченную экспоненциальную отсрочку, повторную попытку и бюджет оставшегося времени. Повторная попытка разрешена только в том случае, если ее ожидание плюс расчетная продолжительность следующей попытки соответствуют бюджету. Равенство допускается. Это текстовая задача принятия политического решения. Он не выполняет HTTP-запросы, не измеряет задержку обработки выводов и не демонстрирует безопасные повторные рабочие попытки. Двенадцать контролируемых пар В формальный набор входят 24 оригинальных синтетических футляра, сгруппированных в 12 пар. Внутри каждой пары меняется ровно одно поле ввода. Это упрощает проверку проверяемой границы, чем сбор несвязанных между собой головоломок.