Использование Jeston для потоковой передачи и рабочих процессов искусственного интеллекта, не скрывая сложных частей

Jeston предоставляет явные примитивы транспорта и заданий для приложений, которые предоставляют вывод токенов, ход выполнения, оценки или другую длительную работу. Он не включает поставщика моделей, не обучает модель автоматически и не гарантирует качество модели. API может возвращать AsyncIterable для NDJSON, SSE, вывода токена, прогресса или другого байтового протокола. Страницы React и ответы API также могут использовать потоковую передачу сервера React. Это сохраняет детерминированность транспортной границы, пока приложение владеет рабочим процессом. Для агентов, логических выводов, оценки или оркестрации обучения задания могут отправлять или возобновлять работу. Приложения должны сохранять контрольные точки и выходные данные в долговременном хранилище, использовать ключи идемпотентности очереди, распространять отмену и определять восстановление после сбоев. Поток не является долгосрочным заданием, а долговременное задание не является автоматической оценкой модели. Рабочие процессы ИИ также требуют управления данными, их хранения, согласия, обработки секретов, оценки и поведения при сбоях, зависящего от поставщика. Jeston предоставляет приложению явные границы HTTP, очереди, кэша и развертывания, где эти политики могут быть реализованы и протестированы. Здесь Jeston полезен именно потому, что он не скрывает трудные части. Это поддерживает