本指南将动作划分为单一动作、时序组合动作两种类型,且这两种动作类型涵盖简单和复杂两种不同难度。下方推荐了prompt的起手书写方式,关键在于简洁明了地描述动作,避免因prompt冗长或动作指令过于复杂而导致视频呈现的动作效果欠佳。
单一动作(简单动作):
推荐I+T2V基础起手式:"主体"+"单动作"
推荐T2V基础起手式:"清晰的主体描述"+"场景"+"单动作"
进阶:“动作”指令可添加如“快速”“平稳地”“用力地”“向前”等运动速度、运动方向和运动幅度方面的提示词,以增强动作表现力。
📌
图+文生视频(I+T2V):
✅能够依据prompt和图片信息精确响应生成不同的动作类型,主体动作效果生动且准确。
❌对于高难度动作,需要谨慎对待!如跑酷、跳舞、打斗等动态幅度较大或需要交互的动作,仍存在打击感不足、肢体结构破坏严重等不稳定性。
文生视频(T2V):
上下限均较高,在能够输出逼真生动动作的同时,也容易出现动作指令遵循不准确和动作幅度不可控等问题。
单一动作创作实例展示:
| 模式 | 参考图 | prompt结构拆解 | 视频 |
|---|---|---|---|
| 图+文生视频 | ![]() 老虎在野外行走的简单场景 | 主体(老虎)+简单的单一动作(走路) | |
![]() 机器人在高速路奔跑的简单场景 | 主体(机器人)+简单的单一动作(跑步),添加了运动方向(前) | ||
![]() 人物在空中飞行的简单场景 | 主体(巫师)+简单的单一动作(飞行),添加了运动方向(前) | ||
![]() 主体也可以是物,船行驶的简单场景 | 主体(船)+单一动作(行驶),附加了运动方向(前) | ||
![]() 赛车场景,需要展现较强的速度感,有一定难度 | 主体(蓝车)+进阶单一动作(逼近),附加了运动速度(极快) | ||
![]() 动物拟人跳水场景,难度较大 | 主体(企鹅)+进阶单一动作(跳水) | ||
![]() 双人格斗场景,难度较大 | 主体(拳击手)+进阶单一动作(格斗),添加了运动速度(快速)和运动幅度(有力地) | ||
| 文生视频 | 主体(小猫)+场景(地板上)+简单的单一动作(打哈欠) | ||
| 主体(白发老人)+场景(室内)+简单的单一动作(喝茶) | |||
| 主体(陨石)+场景(宇宙)+简单的单一动作(飞) | |||
| 主体(厨师)+场景(厨房)+进阶的单一动作(反复翻炒) | |||
| 主体(冲浪者)+场景(海上)+进阶的单一动作(冲浪) | |||
| 主体(运动员)+场景(雪山)+进阶的单一动作(滑雪) |
时序组合动作(复杂动作)
按照动作发生的时序,清晰描述出多个动作,实现单人物多动作/多人物多动作。
注意:若需求的动作更多,则需要在每一个动作后添加对应的衔接词,起手式结构可根据个人需求稍作调整
📌
✅模型能够流畅地生成各类运动,从细微表情到动态场景,均能保持较高水平的稳定性与物理真实感。
❌当输入超过三个动作时,模型对动作的响应程度会下降,可能需要多次尝试才有可能达成预期效果。同时,模型还存在交互感较弱以及不符合物理规律等问题
复杂动作创作实例展示:
| 模式 | 主体数量 | 参考图 | prompt | 视频 |
|---|---|---|---|---|
| 图+文生视频 | 单主体 | ![]() 女子在海边用餐的简单场景 | 女子拿起面前的酒杯,喝了一口后放下,然后起身离开座位。 | |
![]() 洞穴探险场景,难度较大 | 探险家用右手打开手电筒照亮前方的石壁,然后小心翼翼地伸出左手触摸壁上的古老符号 | |||
![]() 极限运动攀岩场景,动作难度较大 | 她先抬起手精准抠抓岩缝,然后身体灵活向上攀爬,跟随镜头 | |||
| 多主体 | ![]() 动物拟人用餐的简单场景 | 左边的狗狗拿起面前的鸡腿大口吃了起来,同时,右边的萨摩耶在乐呵呵地笑 | ||
| 一系列组合动作 | 探险者在潜水的过程中发现了藏在珊瑚礁里的宝箱 (发现看似是一个很简单的词但是实际上也是一系列的动作,这类case也很考验模型) | |||
| 文生视频 | \ | 一个穿着运动服的年轻人在公园里慢跑,然后突然停下来,捡起地上的一个废弃的空塑料瓶,走向旁边的垃圾桶把它扔进去 | ||
| \ | 一名体操运动员在明亮的场馆内迅速助跑,然后用力踏板,身体腾空而起,在空中完成一个完美的360°空翻转体动作,随后稳稳落地 | |||
| \ | 一个摇滚乐队的演出现场,主唱拿着麦克风在台上唱歌,同时,吉他手在卖力弹吉他,贝斯手弹贝斯,鼓手在摇头晃脑的在敲鼓,键盘手在弹钢琴。 |










