Большинство демонстраций «ИИ-видеогенератора» пропускают самую сложную часть. Вызвать API изображений и API преобразования текста в речь очень просто. Превратить полученные результаты в видео, которое люди действительно будут смотреть, — это работа: кадры 9:16, движение на неподвижных изображениях, субтитры, синхронизированные с...
Большинство демонстраций «ИИ-видеогенератора» пропускают самую сложную часть. Вызвать API изображений и API преобразования текста в речь очень просто. Превращение их вывода в видео, которое люди на самом деле будут смотреть, — это работа: кадры 9:16, движение на неподвижных изображениях, титры, синхронизированные с голосом, сцены, которые не обрезаются в середине предложения, и рендеринг, который не прерывается при сбое одного вызова API.
В этом посте этот конвейер строится с помощью Node и обычного ffmpeg. Никакого видео SaaS, никаких зависимостей Python. Каждый шаг представляет собой одну команду ffmpeg, которую вы можете сначала вставить в терминал, а затем обернуть кодом.
Форма трубопровода
краткий план ──LLM──▶ (сцены: подсказка к изображению, повествование, продолжительность)
├─ за сцену, параллельно: изображение + закадровый голос
├─ для каждой сцены: ffmpeg → сегмент масштабирования + встроенные подписи
└─ ffmpeg concat → Final.mp4
План представляет собой простой JSON:
{
"title": "3 совета, как улучшить сон",
"сцены": [
{ "imagePrompt": "тусклая спальня, теплая лампа, кинематографический", "narration": "Сохраняйте одно и то же время пробуждения, даже в выходные дни".", "durationSec": 3 },
{ "imagePrompt": "телефон экраном вниз на тумбочке", "narration": "Уберите экраны за тридцать минут до сна", "durationSec": 3 }
]
}
Попросите у LLM JSON (response_format: { type: "json_object" } на OpenAI-compatib