За этим терминалом нет ни шелла, ни файловой системы: каждое нажатие клавиши уходит в языковую модель на 360 млн параметров, и она предсказывает, как изменится экран. Автор дообучил Qwen2.5-Coder-0.5B на 336 тысячах записанных сессий, научи...
За этим терминалом нет ни шелла, ни файловой системы: каждое нажатие клавиши уходит в языковую модель на 360 млн параметров, и она предсказывает, как изменится экран. Автор дообучил Qwen2.5-Coder-0.5B на 336 тысячах записанных сессий, научил её чинить собственные ошибки, а задержку p95 на больших кадрах на RTX 4090 сократил с 6,7 до 0,87 секунды за счёт параллельного декодирования строк. Модель запускает vim и tmux, играет в змейку и в тесте на чтение ранее записанных файлов отвечает верно в 9 случаях из 13 (модели без дообучения — в 2 и 3). Квантованная версия на 208 МБ работает прямо во вкладке браузера.
![[Перевод] Терминал, которого нет: я научил модель на 360M параметров изображать bash, vim и tmux](/_next/image?url=https%3A%2F%2Fhabrastorage.org%2Fextt%2Fa5%2Ff3%2F0e%2Fa5f30e6dbcb4a312c54e830f5c4d7cd2.jpg&w=3840&q=75)