Создайте крошечный счетчик токенов, прежде чем доверять уровню бесплатной модели

Сейчас 23:40, и цикл повторов незаметно съедает чей-то уровень бесплатного пользования. Не с треском. С циклом for, который никогда не проверяет возвращаемые данные, клиентом, который повторяет попытку на любом коде, отличном от 200, и информационной панелью использования, которую никто не открывал со вторника. К утру квота закончилась, демо-версия завтра, а сообщение об ошибке не говорит ничего полезного. Это проблема оттока бесплатных уровней, и это то, о чем на прошлой неделе продолжали кружить сообщения DEV: мы устали от ИИ, мы тонем в репозиториях ИИ с открытым исходным кодом, а пол под нашими игрушками продолжает двигаться. Итак, вот вопрос, который я постоянно задаю своей учебной группе. Если вы не можете увидеть, сколько жетонов стоит запрос, как узнать, что уровень бесплатного пользования все еще бесплатен? Для этого примера я построил один механизм — счетчик токенов — и поместил его перед конечной точкой свободной модели. Количество зависимостей: ноль, за пределами стандартной библиотеки Python. Цель заявлена так, что она может потерпеть неудачу Счетчик должен делать три вещи и ничего больше. Подсчитывайте токены на каждый запрос из собственного блока использования вышестоящего звена, добавляйте одну строку JSON на каждый вызов в реестр и отклоняйте новые вызовы, как только сегодняшнее общее количество превысит жесткий предел. Три вещи, три способа ошибиться. Параллелизм, недостающие данные об использовании и мой собственный оптимизм по поводу того, что