№
Как нейросеть создаёт видео по текстовому описанию?
- Показывает подряд отдельные изображения, каждое из которых сгенерировано независимо
- Подбирает и склеивает подходящие фрагменты из видеозаписей, на которых обучалась
- Отрисовывает первый кадр, а затем математически определяет траекторию и отображение каждого объекта
- Строит всю последовательность кадров сразу, согласуя их между собой
Решение
Разберём варианты:
- Если кадры генерировать независимо, между ними не будет связи: объекты будут «прыгать» и менять вид. Вариант не подходит.
- Нейросеть не хранит готовые видеофрагменты и не склеивает их, а создаёт новое содержимое. Вариант не подходит.
- Нейросеть не рассчитывает траектории объектов по физическим формулам, как это делает программа-аниматор. Вариант не подходит.
- Современные модели генерации видео создают сразу всю последовательность кадров (в виде единого «видеообъёма» во времени) и согласуют кадры между собой, поэтому объекты выглядят одинаково и движутся плавно. Вариант подходит.
💡 Почему так
Видеомодели (диффузионные) обрабатывают кадры совместно, учитывая и пространство, и время, поэтому кадры получаются согласованными, а не независимыми.
Ответ
✓ dzmen.ru
Помогло?
