MorphCut

该产品提供了一种新颖的框架，用于平滑跳切，特别是在对话视频中。它利用视频中主体的外观，通过 DensePose 关键点和面部标志驱动的中级表示来融合其他源帧中的信息。为了实现运动，它在切割周围的端帧之间插值关键点和标志。然后使用图像转换网络从关键点和源帧合成像素。由于关键点可能包含错误，因此提出了一种跨模态注意机制，以选择和为每个关键点挑选最合适的源。通过利用这种中级表示，我们的方法可以比强视频插值基准获得更强的结果。我们在对话视频的各种跳切上展示了我们的方法，例如切除填充词、暂停，甚至随机切割。我们的实验表明，即使在对话头部旋转或剧烈移动的挑战性情况下，我们也可以实现无缝过渡。

需求人群：

适用于需要消除填充词和重复词，以及平滑跳切的视频处理场景。

使用场景示例：

在视频编辑软件中应用，去除不必要的词和跳切，制作流畅的对话视频。
用于在线教育平台，提高视频内容的质量和观看体验。
应用于广告制作，消除不必要的停顿和词汇，打造更吸引人的视频内容。

产品特色：

消除填充词和重复词
平滑跳切，创建无缝过渡视频