В течение многих лет «местный LLM» означал игрушку — чат-бот, с которым вы играли по выходным, слишком медленный или слишком тупой, чтобы ему можно было доверить реальную работу. В этом месяце я впервые перестала волноваться. Мой помощник Джарвис самостоятельно выполняет свои повседневные задачи на модели 27B...
В течение многих лет «местный LLM» означал игрушку — чат-бот, с которым вы играли по выходным, слишком медленный или слишком тупой, чтобы ему можно было доверить реальную работу. В этом месяце я впервые перестала волноваться. Мой помощник Джарвис выполняет свои повседневные задачи на модели 27B на моем собственном оборудовании. В задачах, которые я на самом деле выполняю, он похож на Sonnet, а в некоторых даже лучше. Испытания продолжаются.
Что он делает — не болтает, работает
Прочтите около 500 электронных писем Jira и создайте интерактивный трекер из более чем 20 требований: статус, даты UAT, заявленные льготы по полной занятости, что закрыто и почему.
Таблица соответствия правилам маркировки изображений Закона ЕС об искусственном интеллекте — поставщик и развертыватель, разделение метаданных и видимых меток, с датами. Он уловил термин, которым команда юристов злоупотребила.
Сводка чистой стоимости активов из моих собственных книг и вопрос о размере позиции по золоту, который вернулся в виде плана: 5–10% ликвидности, DCA в течение 2–3 траншей.
Сама домашняя лаборатория: бенчмаркинг моделей, просмотр коробок, написание этого поста.
Дело не в какой-то одной задаче. Дело в том, что я перестал быть осторожным. При использовании API каждое приглашение требует небольших затрат и небольшого решения по обеспечению конфиденциальности. На местном уровне это просто подсказка.
Установка
┌─────────────────────────────────┐
│ АрДи (хаб) │
│ 56 ядер · 64 ГБ · 52 Docker │
│ Джарвис 2 ядро · Шепот А