阿里发布视频生成模型MotionShop：支持AI数字人物一键替换，让“二次元老婆”跳宅舞，免费玩！开源圈杀疯！

?机器人舞蹈，大跳「机械舞」，但不是??波士顿动力的那种~??

机器人复刻迈克尔·杰克逊，竟然毫不逊色！？

这究竟是怎么回事？

原来，阿里又整出跳舞模型新活儿——全新的AI数字人像生成模型框架。新框架支持一键替换原视频当中的动态人物，并且完美还原原版舞蹈。

这款新模型名叫MotionShop，能够将识别的人像转换为3D影像，同时又不改变其他场景和人物。

我们再看一个，让漂亮的小姐姐教咱们的《原神》人气角色可莉扭腰姿。

让?小猪跟着师傅学打太极。

二次元虚拟偶像跳起了Kpop女团劲舞。

阿里新花活儿，目前支持免费体验。

看到这里，已经有人迫不及待打开了阿里的ModelScope魔搭社区试玩起来。不过确实承认，最近阿里的花活好多，手持国内最强算力就是有底气。

目前MotionShop支持在线生成，只需三步：

①上传视频

②框选视频当中需要替换的目标对象

③选择要替换的虚拟人物

实测后发现，需要注意以下几点：

首先上传的视频，尽量不要超过15秒，并且保证人物整体的完整性，而且不能存在断帧剪辑的情况。换句话说，原片素材需要一镜到底。

目前魔搭社区提供可替换的虚拟形象只有四款而已。

不过好在，这款模型后边还会继续升级体验，可玩性还会加强。最后就是比较漫长的排队等待时间，通常需要十来二十分钟。

MotionShop是如何实现视频生成的？

阿里人工智能研究团队提出了使用3D人物替换视频当中的角色的想法，可以将大大缩短视频内容转换的周期与效率。

整个内容生成转换框架由两部分组成：

①提取将人物抠图后，需要修复的视频背景进行处理

②将抠出来的人物生成3D动态影像所需要的静态帧

通过并行两条处理管线，再结合高性能的光线追踪渲染器工具，整个工作流结合下来，就可以将修复后的背景加入3D动态跳舞人物。

我们可以通过上边这个技术原理分解图，大致了解到，如何使得二次元人物临摹「科目三」舞蹈片，从而得到一段替换人物的跳舞视频。

阿里啊~阿里，这次彻底跟跳舞视频模型杠上了~！

感兴趣的家人们可以戳下方的地址进行体验：

https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary