AI 创作,助力动画影像领域视觉叙事发展

AI 创作,助力动画影像领域视觉叙事发展


《AIGC 电影短片单元启动仪式暨 AIGC 高端论坛 现场纪实短片》

2024 年第十四届北京国际电影节上,首次开设了 “AIGC 电影短片单元” 竞赛,中国传媒大学动画与数字艺术学院及 Ainimate Lab 在华为云的支持下共创 AI 动画短片《致亲爱的自己》,获最佳影片荣誉。

双方基于风格化视频生成、多模态大模型 CG+CV 等能力,使用连贯镜头对短片人物角色动作、表情、场景、道具等进行一致和稳定刻画,推动故事情节发展,首次实现 AIGC 动画领域的视觉叙事突破,并通过华为云 MetaStudio 开放给更多创作者和企业,开辟出可控性 AI 在影视动画工业流程的创新应用之路,助力我国影视工业变革与发展。

“PPT 动画” 困境背后 AI 的创作难题

视觉叙事,也被称为用视觉讲故事,即通过眼睛可见就能把一个故事的前因后果来龙去脉呈现给观众。在影视动画领域,好作品往往离不开独具匠心的故事和独特的叙事方式。

但当前 AI 影片里,故事情节更多依靠旁白串联全篇,这种主要通过听觉方式来捕捉故事画面和情节的内容,被业界称为 “PPT 动画”。比如一个父亲与失散已久女儿重逢的场景,镜头里可能有女儿挥舞的双手,惊慌失措的哭喊,也有双手挥舞间父亲抿着唇,憋着气,眼睛都不敢眨,但逐渐绷紧的身体和蓄满的眼泪。AI 视觉叙事能力的缺失,可能让镜头里只剩下苍白的画面,父亲的微动作和表情不再有,女儿和父亲镜头的交叠转换不再有,失去情绪表演的递进和感染力,观众无法带入和共情,作品最重要的剧情、角色表演和叙事都不能完美呈现和被感知。

因此,大量 AI 模型生成的图片或视频,画面虽然惊艳,但生成内容要符合艺术家创作要求、符合人类对影片故事情节的需求,是一个非常具有挑战的事情,这也是 AI 真正走进影视动画工业流程的最大阻碍之一。

全球首个 AI 共创电影节 这支最佳影片为什么获奖?

《致亲爱的自己》由一段艺术性真人实拍短片转绘生成,通过镜头时长、人物表演、场景细节等的一致性和稳定性突破,在 AI 动画影视视觉叙事方面实现重大提升,是一次艺术和技术的完美结合和划时代碰撞。

2 个核心技术方案
风格锁定:不同类型的风格化,需要匹配不一样的基础参数,本片通过上传具有特定风格属性的原始数据,通过视觉生成式大模型微调形成一个生成式垂域模型,能同时满足特定艺术风格的画面生成和具体角色的形象植入。

一致性处理:引入基于生成式大模型的视频运动模块,来增强帧间的动态一致性,同时使用视频一致性后处理算法来消除生成视频的闪烁和抖动。保证影片整体画面稳定,角色、物品在大幅度运动状态下的一致性。

5 大创新突破
连续性突破:全片总时长超过 4 分钟,13 个分镜环环相扣,最长分镜长达 50 秒,始终保持场景、人物画面连贯流畅;
一致性突破:影片中有大量大幅度舞蹈动作,人物与镜头运动轨迹大,角色和道具前后始终保持一致;
可控性突破:风格化幅度大,生成结果脱离原演员样貌,但始终保持前后是一个人;
故事性突破:演员表情细节、肢体动作细节要求严格,最关键几个要传达情绪的镜头里,把角色的表情保留下来,保证作品故事信息有效传递;
细节突破:色彩及光照阴影精细化处理,画面更生动。
此外,本片的后期制作中混音和调色采用 Audio Vivid(三维菁彩声) 和 HDR Vivid(菁彩 HDR) 技术标准制作,画面色彩、音乐效果等也得到大幅提升。

可控性 AI 工具 影视动画工业化必由之路

影视动画原创 IP 公司面临的核心问题,是产能来自哪里。现阶段 AIGC 视频创作过程中,除了高质量数据、更智能的模型之外,最大需求点在效率;选择更成熟稳定的工具,可以帮助艺术创作者高效率生成作品,极大节省创作时间。

在本次创作中,华为云为创作团队提供了基于 MetaStudio 的一站式云上数字内容生产平台能力,在云和 AI 的技术能力加持下,影片内容生产方式发生质的跃迁。

视频从一张张静态帧图片到动态画面动起来,需要保持前后连贯性和一致性。相较业界纯 CV(视觉)生成视频不理解物理世界轨迹的局限性,华为云 MetaStudio 基于多模态大模型构建 CG+CV 能力,能精准保留人物信息,保证视频内容在物理世界的合理性。以视频生成动画为例,通过训练 50-100 张特定风格的图片,比如油画或素描等风格,然后输入视频即可快速生成该风格的动漫视频,并保持视频中角色的样貌特征前后一致,而且可以达到按需生成。

面对舞蹈等大幅度动作产生较大的运动轨迹时,视频生成容易出现合理性问题,用华为云 CG+CV 的视频生成技术,可以保证人物在大幅度运动时的面部轮廓、发型、体型等视觉效果都合理恰当,前后连贯;而基于可控视频生成的技术,才能满足真正的工业场景应用需求。

分享到微信

首页 » 资讯 » AI 创作,助力动画影像领域视觉叙事发展