Как нейросеть создаёт видео по текстовому описанию?
- Показывает подряд отдельные изображения, каждое из которых сгенерировано независимо
- Подбирает и склеивает подходящие фрагменты из видеозаписей, на которых обучалась
- Отрисовывает первый кадр, а затем математически определяет траекторию и отображение каждого объекта
- Строит всю последовательность кадров сразу, согласуя их между собой
Разберём варианты.
-
Независимо созданные изображения дали бы мерцание: объекты и фон менялись бы от кадра к кадру. Видео получилось бы несвязным. Не подходит.
-
Нейросеть не хранит записи и не склеивает готовые фрагменты. Она учится закономерностям и создаёт новое содержимое. Не подходит.
-
Нейросеть не вычисляет траектории объектов по физическим формулам и не рисует кадры по очереди от первого. Не подходит.
-
Современные модели (диффузионные, трансформеры) создают сразу весь набор кадров, постепенно убирая «шум». Кадры согласуются по времени, поэтому объекты и фон остаются устойчивыми, а движение плавным. Подходит.
Видеомодели обрабатывают кадры совместно, а не по одному, поэтому сохраняют согласованность объектов и движения во времени.
