中证报中证网讯(王珞)2月18日,昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。
图片来源于网络,如有侵权,请联系删除
据介绍,SkyReels-V1可实现影视级人物微表情表演生成,支持33种细腻人物表情与400+种自然动作组合,高度还原真人情感表达。同时,SkyReels-V1为AI视频生成带来了电影级光影美学,基于好莱坞级的高质量影视数据训练,其生成的每一帧画面都具备电影级的质感。
值得一提的是,SkyReels-V1不仅支持文生视频,还能支持图生视频,是开源视频生成模型中参数最大的支持图生视频的模型,在同等分辨率下各项指标实现开源SOTA。
能够实现这样的SOTA级别,不仅依赖于昆仑万维SkyReels团队基于自研的高质量数据清洗和人工标注管线,构建了千万级的高质量电影、电视剧与纪录片数据,更依托团队自研Human-Centric的视频理解多模态大模型,大幅提升了视频中人物相关的理解能力,尤其是自研人物智能解析系统。
据悉,SkyReels-V1不仅是全球极少数开源的视频生成模型,还是围绕人物表演、开源视频生成模型中性能最强的。
除此以外,为了实现更加精准可控的人物视频生成,昆仑万维还开源了SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1,支持视频驱动的电影级表情捕捉,实现高保真微表情还原。据公司介绍,其能够基于任意人体比例生成高度逼真的人物动态视频,真实感源自对人物表情变化和情绪的精准模拟、皮肤肌理、身体动作跟随等多维度细节的深度还原。
昆仑万维表示,此次同时将SOTA级别的SkyReels-V1和SkyReels-A1进行开源,是AI短剧行业首例,也是昆仑万维SkyReels回馈行业迈出的一小步,更是促进AI短剧创作和视频生成行业枝繁叶茂的一大步。展望未来,昆仑万维及SkyReels还将开源更多视频生成模型和算法、通用模型,通过开源实现AGI平权,推动AI短剧生态的持续建设和繁荣,促进开源社区、开发生态以及AI行业的发展。