Как нейросеть создаёт видео по текстовому описанию?
- Показывает подряд отдельные изображения, каждое из которых сгенерировано независимо
- Подбирает и склеивает подходящие фрагменты из видеозаписей, на которых обучалась
- Отрисовывает первый кадр, а затем математически определяет траекторию и отображение каждого объекта
- Строит всю последовательность кадров сразу, согласуя их между собой
Разберём варианты.
-
Если кадры генерировать независимо, объекты будут «прыгать» и меняться от кадра к кадру, плавного видео не получится. Не подходит.
-
Нейросеть не хранит видеозаписи и не склеивает готовые фрагменты, а создаёт новое содержимое по закономерностям, выученным при обучении. Не подходит.
-
Нейросеть не рассчитывает траектории объектов по математическим формулам физики, как в анимации. Не подходит.
-
Современные видеомодели (диффузионные и трансформерные) генерируют сразу весь набор кадров как единое целое. Кадры согласуются между собой по времени, поэтому объекты, их вид и движение остаются непрерывными. Подходит.
Видеомодель работает с последовательностью кадров целиком, поэтому изображение и движение объектов получаются согласованными во времени.
- Строит всю последовательность кадров сразу, согласуя их между собой
