Boximator

Boximator 是由字节跳动发布的一种视频编辑工具，它能让用户通过简单的操作控制生成视频中主体的运动轨迹。物体将严格按照用户绘制的位置和路径进行运动。这个工具的创新之处在于其直观的交互方式：你可以选择需要运动的物体，然后绘制他结束的位置和运动路径，他就会严格按照你绘制的位置和路径运动。与Runway的运动笔刷相比，Boximator 可以更精确地控制物体的运动结束位置。

Boximator论文：https://arxiv.org/abs/2402.01566

Boximator演示：https://boximator.github.io/#Demo

Boximator项目：https://boximator.github.io/

Boximator核心功能：

轨迹控制：用户可以通过圈选方式，简单直观地设定视频中主体的运动轨迹。

多主体支持：Boximator 支持用户同时圈选多个主体，并为每个主体设置不同的运动路径。

路线定制：除了基本的点对点移动外，用户还可以为视频中的主体设置具体的移动路线。

插件兼容性：Boximator 与SD视频模型兼容，可以作为插件使用，增强视频编辑的灵活性和多样性。

用户友好：Boximator 的操作简单直观，无需复杂的视频编辑知识，用户即可控制视频内容。

高度兼容：与当前流行的SD视频模型兼容，可作为插件提供更广泛的应用可能。

创新交互：创新的圈选交互方式，使得视频编辑更加直观和便捷。

Boximator应用场景：

视频内容制作：对于视频创作者，Boximator 提供了一种新的制作动态视频的手段。

动画创作：对动画制作者来说，能够简化人物或物体运动轨迹的设计流程。

教育演示：在教育领域，教师可以使用该工具制作直观的动态演示材料。

Boximator使用：

字节发布的方法，先圈出图片中的主体，再圈出要移动到位置，即可生成主体从起点到终点移动的视频，支持设置移动路线，支持圈选多个主体。与SD视频模型兼容，可作为插件使用。

Boximator简介：

我们提出了Boximator，这是一种用于精细运动控制的新方法。Boximator采用了两种约束机制：硬性约束（hard box）和软性约束（soft box）。

用户可以利用硬性约束选取视频中某一帧（称为条件帧）的特定对象，然后通过这两种约束方式来大致或严格地指定该对象在未来画面中的位置、形状或运动轨迹。Boximator可以作为现有视频合成模型的一个附加组件。在训练过程中，为了保留原模型的知识，我们选择冻结了原始权重，只对控制模块进行训练。

为了解决训练过程中的挑战，我们引入了一种创新的自我追踪技术，这大大简化了学习框选对象与其关联的过程。

经过实验证明，Boximator在视频质量方面（即FVD，一种视频质量评价标准）达到了行业领先水平，相较于两个基础模型有所提升，并在引入框选约束后进一步增强了效果。其在运动控制上的强大能力，通过包围盒对齐指标的显著提升得到了验证。

评估也显示，用户更偏好Boximator生成的视频效果，而不是基础模型的输出。