Установите max_tokens=300 в удаленной сборке GLM, и вы получите пустой ответ. Модель потратила весь бюджет на обдумывание, прежде чем написать слово. Это единственная реальная разница на уровне кода между этими моделями и моделями чата, которые вы все...
Установите max_tokens=300 в удаленной сборке GLM, и вы получите пустой ответ. Модель потратила весь бюджет на обдумывание, прежде чем написать слово. Это единственная реальная разница на уровне кода между этими моделями и моделями чата, которые вы уже вызываете. Остальная часть этого поста представляет собой контекст вокруг него.
Полный список моделей с актуальными ценами находится на странице LLM API без цензуры. Раскрытие информации: это наш шлюз, один OpenAI-совместимый базовый URL-адрес для Claude, GPT и сборок с открытым весом.
Что означает аблитерация для вашей интеграции
Удаленная модель — это модель чата с открытым весом, в которой отсутствует вес. Ардити и др. обнаружил, что отказ в 13 моделях открытого чата, до 72B параметров, происходит по одному направлению в активациях (arXiv 2406.11717). Аблитерация проецирует это направление из весов. Ничего не переучивается. В статье Максима Лабонна об «Обнимающем лице» это рассматривается в коде.
Три вещи меняют то, что будет отвечать модель:
Аблитерация редактирует веса. Никаких тренировочных забегов.
Точная настройка без цензуры дополнительно обучает модель на примерах, которые отвечают.
При джейлбрейке изменяется только подсказка, поэтому он проигрывает всякий раз, когда обучение модели выигрывает.
От