Почему будущее эффективного искусственного интеллекта может стать интеллектуальной сетью специализированных моделей, а не одной огромной нейронной сетью. Индустрия искусственного интеллекта потратила годы на поиск все более мощных языковых моделей. Больше параметров. Более широкий контекст с...
Почему будущее эффективного искусственного интеллекта может стать интеллектуальной сетью специализированных моделей, а не одной огромной нейронной сетью.
Введение: действительно ли нам нужны миллиарды параметров для каждой задачи?
Индустрия искусственного интеллекта потратила годы на поиск все более мощных языковых моделей.
Больше параметров. Увеличенные контекстные окна. Больше вычислений. Более дорогая инфраструктура.
Но что, если следующее значительное повышение эффективности не будет связано с созданием еще одной массивной модели?
Что, если это произойдет за счет использования более мелких узкоспециализированных моделей, которые исключительно хороши для узкого круга задач?
Рассмотрим систему государственного управления.
Гражданин задает вопрос о сроке обжалования административного решения.
Действительно ли эта задача требует модели общего назначения с девятью миллиардами параметров?
Не обязательно.
Системе необходимо:
Ознакомьтесь с административной процедурой.
Извлеките соответствующие даты и информацию.
Определите применимую правовую базу.
Правильно рассчитайте срок.
Объясните результат понятным языком.
Большинство этих операций не требуют всех возможностей большой языковой модели.
Это наблюдение приводит к архитектурной концепции, которую я хочу