JOKR笔记

JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting

摘要

原视频和目标视频形状不同时,之前专注于特定对象先验的方法就会失败,作者提出联合关键点表达可以捕捉原视频和目标视频都有的动作,而且不需要物体先验或者数据采集。使用domain confusion项有利于对于两个domain的动作的一致的部分的解耦,可区分的外观和动作使得捕捉其中一个视频动作同时描绘另一个视频的风格的视频得以生成。

为处理物体有不同比例缩放或者不同方向的情形,作者应用了JOKR之间的仿射变换。这使得表达具有仿射不变性。

阅读更多