SpatialTracker是CVPR 2024年亮点之一的研究成果，专注于在3D空间中恢复视频中密集的像素运动。通过将2D像素提升到3D空间，并使用三平面表示表示每一帧的3D内容，通过迭代更新转换器来估计3D轨迹。利用刚性约束，同时学习刚性嵌入将像素聚集到不同的刚性部分中，在质量和量度上取得优异的成绩，尤其在具有挑战性的出平面旋转情况下。
产品特色：3D空间中的像素跟踪、刚性约束和刚性嵌入、三平面表示、转换器迭代更新。
SpatialTracker在质量和量度方面表现优异，尤其在具有挑战性的出平面旋转情况下。
使用场景示例：TAPIRCoTracker视频编辑软件。
SpatialTracker能够恢复视频中的密集像素运动，提供3D空间中的像素跟踪，具有刚性约束和刚性嵌入，适用于视频处理、计算机视觉研究、动态场景分析等领域。
