Я создал Обифлоу. Попробуй, сломай и скажи мне, что пошло не так.

Несколько месяцев назад мне надоело использовать console.log для отладки приложений LLM. Иногда цепочка терпела неудачу без большого количества информации. Иногда векторный поиск ничего не возвращал. А когда что-то перестало работать, было сложно понять, что изменилось. Поэтому я создал Obyflow, инструмент с открытым исходным кодом для отслеживания и отладки LLM и других приложений. Он может отслеживать такие вещи, как вызовы LLM, векторный поиск, ошибки, журналы и шаги LangChain. Он запускается локально с использованием SQLite, поэтому вам не нужно настраивать другой сервер. Если что-то пойдет не так, вы также можете использовать LLM, чтобы просмотреть собранную информацию и указать возможную причину сбоя. Существуют проверки, поэтому диагноз ставится на основе имеющихся данных, а не просто придумывает ответ. Живая демонстрация: https://obyflowapp.onrender.com. Но этот пост на самом деле не посвящен объяснению каждой функции. Я хочу, чтобы люди попробовали это и сказали мне, где это сломалось. Что делает Obyflow Некоторые из основных частей: Типизированная модель событий для трассировок, журналов, метрик, ошибок, внедрений, векторных операций, цепочек, вызовов инструментов, вызовов LLM и пользовательских событий. Отслеживайте поддержку по всем сервисам. Node.js и Python SDK могут передавать информацию трассировки через