Местный LLM может ответить на многие вопросы по программированию, даже не выходя в Интернет. Это работает хорошо, пока вопрос не будет зависеть от информации, которая изменилась после обучения модели. Возьмем, казалось бы, простой запрос: «Найдите самую свежую информацию...
Местный LLM может ответить на многие вопросы по программированию, даже не выходя в Интернет. Это работает хорошо, пока вопрос не будет зависеть от информации, которая изменилась после обучения модели.
Возьмем, казалось бы, простой запрос: «Найдите последнюю стабильную версию FastAPI, обобщите изменения, которые мне следует просмотреть перед обновлением, и дайте ссылку на официальные источники».
Модель может уже знать версию FastAPI, но у нее нет надежного способа узнать, актуальна ли эта версия. Даже после подключения его к поисковой системе существует несколько причин, по которым ответ может оказаться неверным. Первый результат может описывать более старую версию, больший номер версии может принадлежать предварительной версии, или агент может ссылаться на страницу, которая фактически никогда не поддерживает ее краткое описание.
Таким образом, предоставление локальному агенту веб-доступа заключается не столько в добавлении окна поиска, сколько в построении небольшого исследовательского процесса вокруг модели. Ему необходимо найти подходящие источники, прочитать их, отслеживать доказательства и быть честным, когда он не может что-то проверить.
Локальная модель не обязательно является автономным приложением.
Слово «локальный» обычно описывает место, где происходит вывод модели. Это не означает, что каждая часть приложения остается на месте.