Как нейросеть создаёт видео по текстовому описанию?
- Показывает подряд отдельные изображения, каждое из которых сгенерировано независимо
- Подбирает и склеивает подходящие фрагменты из видеозаписей, на которых обучалась
- Отрисовывает первый кадр, а затем математически определяет траекторию и отображение каждого объекта
- Строит всю последовательность кадров сразу, согласуя их между собой
Разберём каждый вариант.
-
Если бы кадры генерировались независимо, объекты в них менялись бы случайно, и видео «мерцало» бы. Так не работает.
-
Нейросеть не хранит видеозаписи и не склеивает готовые фрагменты. Она учится на них закономерностям и создаёт новое изображение.
-
Нейросеть не вычисляет траектории объектов по формулам, как это делает физический движок. Движение она берёт из того, чему научилась на данных.
-
Современные модели генерации видео (диффузионные, трансформерные) обрабатывают кадры как единое целое, например в виде трёхмерного массива «кадры × высота × ширина». Они генерируют все кадры сразу и согласуют их между собой по времени, поэтому объекты выглядят одинаково и плавно движутся.
Верный вариант —
Видеомодель генерирует всю последовательность кадров совместно, поэтому сохраняются единый вид объектов и плавное движение между кадрами.
- Строит всю последовательность кадров сразу, согласуя их между собой
