PhysAvatar是一种结合了逆向渲染和逆向物理的创新框架,能够自动估计人体形状、外表以及服装的物理参数,适用于穿着宽松衣服的人体3D头像的建模和渲染。该框架采用了网格对齐的4D高斯时空网格跟踪技术和基于物理的逆向渲染器,以及物理模拟器,并且支持多视角视频数据输入。
1. 多视角视频数据输入;2. 动态网格跟踪;3. 服装物理参数估计;4. 基于物理的差分渲染支持新动作和新照明条件下的渲染。
PhysAvatar能够实现高质量的穿着宽松衣服的新视角头像渲染,同时在影视行业、游戏和虚拟现实、以及电商平台等领域有着广泛的应用。
1. 在影视行业中用于人体3D模型的高保真渲染;2. 在游戏和虚拟现实中构建逼真的服装动画;3. 在电商平台上展示服装的实际穿戴效果。
PhysAvatar能够以原理性的方式估计服装的物理参数,在训练数据之外的运动和照明条件下,仍能渲染出高质量的穿着宽松衣服的新视角头像。
由于需要多视角视频数据输入以及基于梯度的优化方法进行物理参数估计,可能对设备性能和处理能力有一定要求。