Как нейросеть создаёт видео по текстовому описанию?
- Показывает подряд отдельные изображения, каждое из которых сгенерировано независимо
- Подбирает и склеивает подходящие фрагменты из видеозаписей, на которых обучалась
- Отрисовывает первый кадр, а затем математически определяет траекторию и отображение каждого объекта
- Строит всю последовательность кадров сразу, согласуя их между собой
Разберём варианты.
-
Если кадры генерировать независимо, объекты в соседних кадрах не совпадали бы, видео мерцало бы и не было связным. Не подходит.
-
Нейросеть не хранит видеозаписи и ничего из них не склеивает: она обучается на них, а новые кадры создаёт сама. Не подходит.
-
Нейросеть не считает траектории объектов по математическим формулам, как это делает физический движок. Не подходит.
-
Современные генеративные модели видео (диффузионные модели) обрабатывают сразу весь набор кадров как единое целое. Кадры согласуются между собой по содержанию и по времени, поэтому объекты и движение остаются непрерывными. Подходит.
Видеомодели на основе диффузии генерируют последовательность кадров целиком и согласуют их во времени, а не рисуют кадры по одному и не монтируют готовые записи.
- Строит всю последовательность кадров сразу, согласуя их между собой
