本指南将动作划分为单一动作、时序组合动作两种类型,且这两种动作类型涵盖简单和复杂两种不同难度。下方推荐了prompt的起手书写方式,关键在于简洁明了地描述动作,避免因prompt冗长或动作指令过于复杂而导致视频呈现的动作效果欠佳。

单一动作(简单动作):

推荐I+T2V基础起手式:"主体"+"单动作"

推荐T2V基础起手式:"清晰的主体描述"+"场景"+"单动作"

进阶:“动作”指令可添加如“快速”“平稳地”“用力地”“向前”等运动速度、运动方向和运动幅度方面的提示词,以增强动作表现力。

📌

图+文生视频(I+T2V):

✅能够依据prompt和图片信息精确响应生成不同的动作类型,主体动作效果生动且准确。

❌对于高难度动作,需要谨慎对待!如跑酷、跳舞、打斗等动态幅度较大或需要交互的动作,仍存在打击感不足、肢体结构破坏严重等不稳定性。

文生视频(T2V):

上下限均较高,在能够输出逼真生动动作的同时,也容易出现动作指令遵循不准确和动作幅度不可控等问题。


单一动作创作实例展示:

模式参考图prompt结构拆解视频
图+文生视频
老虎在野外行走的简单场景
主体(老虎)+简单的单一动作(走路)

机器人在高速路奔跑的简单场景
主体(机器人)+简单的单一动作(跑步),添加了运动方向(前)

人物在空中飞行的简单场景
主体(巫师)+简单的单一动作(飞行),添加了运动方向(前)

主体也可以是物,船行驶的简单场景
主体(船)+单一动作(行驶),附加了运动方向(前)

赛车场景,需要展现较强的速度感,有一定难度
主体(蓝车)+进阶单一动作(逼近),附加了运动速度(极快)

动物拟人跳水场景,难度较大
主体(企鹅)+进阶单一动作(跳水)

双人格斗场景,难度较大
主体(拳击手)+进阶单一动作(格斗),添加了运动速度(快速)和运动幅度(有力地)
文生视频主体(小猫)+场景(地板上)+简单的单一动作(打哈欠)
主体(白发老人)+场景(室内)+简单的单一动作(喝茶)
主体(陨石)+场景(宇宙)+简单的单一动作(飞)
主体(厨师)+场景(厨房)+进阶的单一动作(反复翻炒)
主体(冲浪者)+场景(海上)+进阶的单一动作(冲浪)
主体(运动员)+场景(雪山)+进阶的单一动作(滑雪)

时序组合动作(复杂动作)

按照动作发生的时序,清晰描述出多个动作,实现单人物多动作/多人物多动作。

注意:若需求的动作更多,则需要在每一个动作后添加对应的衔接词,起手式结构可根据个人需求稍作调整

📌

✅模型能够流畅地生成各类运动,从细微表情到动态场景,均能保持较高水平的稳定性与物理真实感。

❌当输入超过三个动作时,模型对动作的响应程度会下降,可能需要多次尝试才有可能达成预期效果。同时,模型还存在交互感较弱以及不符合物理规律等问题


复杂动作创作实例展示:

模式主体数量参考图prompt视频
图+文生视频单主体
女子在海边用餐的简单场景
女子拿起面前的酒杯,喝了一口后放下,然后起身离开座位。

洞穴探险场景,难度较大
探险家用右手打开手电筒照亮前方的石壁,然后小心翼翼地伸出左手触摸壁上的古老符号

极限运动攀岩场景,动作难度较大
她先抬起手精准抠抓岩缝,然后身体灵活向上攀爬,跟随镜头
多主体
动物拟人用餐的简单场景
左边的狗狗拿起面前的鸡腿大口吃了起来,同时,右边的萨摩耶在乐呵呵地笑
一系列组合动作探险者在潜水的过程中发现了藏在珊瑚礁里的宝箱
(发现看似是一个很简单的词但是实际上也是一系列的动作,这类case也很考验模型)
文生视频\一个穿着运动服的年轻人在公园里慢跑,然后突然停下来,捡起地上的一个废弃的空塑料瓶,走向旁边的垃圾桶把它扔进去
\一名体操运动员在明亮的场馆内迅速助跑,然后用力踏板,身体腾空而起,在空中完成一个完美的360°空翻转体动作,随后稳稳落地
\一个摇滚乐队的演出现场,主唱拿着麦克风在台上唱歌,同时,吉他手在卖力弹吉他,贝斯手弹贝斯,鼓手在摇头晃脑的在敲鼓,键盘手在弹钢琴。