Сравнительный анализ бесплатных моделей искусственного интеллекта для создания приключений на открытом воздухе

Это заявка на участие в конкурсе Kaggle Benchmarking Challenge. Что я сравнивал Для Ruta Viva AI, приложения для исследования природы, я хотел оценить, насколько надежно бесплатные модели ИИ могут создавать структурированные приключения на природе. Эталонный тест измеряет не только успешность реакции модели. Каждое приключение должно содержать действительный JSON, все обязательные поля, ровно три миссии и постоянное общее количество опыта. Я разработал 30 сценариев для 10 сред с тремя вариантами подсказок для каждой среды. В рамках этого первоначального пилотного проекта я протестировал по три сценария для каждой модели, в результате чего было получено девять запросов. Протестированные модели Я оценил три бесплатные модели через OpenRouter: Жидкость ЛФМ 2,5 2,6Б: жидкость/ЛФМ-2,5-2,6б:свободно NVIDIA Nemotron 3.5 Lightning: nvidia/nemotron-3.5-lightning:бесплатно Apodex 1.1 Mini: apodex/apodex-1.1-mini: бесплатно Я выбрал эти модели для сравнения надежности структурированного вывода и скорости ответа с использованием общего набора подсказок. Выводы Пилотный проект выявил значительные различия в надежности структурированного вывода. Модель Действительный JSON Медианная задержка Жидкость ЛФМ 2,5 2,6Б 3/3 (100%) 13,57 с NVIDIA Немотрон 3.5 Молния 1/3 (33,3%) 41,37 с Аподекс 1.1 Мини 0/3 (0%) 6,36 с Жидкость была самой р