Можно ли запустить настоящие языковые модели на списанной FPGA за $50 - без NVIDIA? В первой части я запустил Qwen, а теперь разобрал openTPU до RTL, собрал прошивку в Vivado и проверил 8 нейросетей в 165 запусках. Покажу реальные замеры, у...
Можно ли запустить настоящие языковые модели на списанной FPGA за $50 - без NVIDIA? В первой части я запустил Qwen, а теперь разобрал openTPU до RTL, собрал прошивку в Vivado и проверил 8 нейросетей в 165 запусках.
Покажу реальные замеры, устройство кристалла, грабли и почему добавление умножителей не решает проблему. Спойлер: в ту же стену памяти сейчас упираются и дата-центры за миллиарды.