可驱动的泛化人头神经辐射场

分类： 计算机科学 >> 计算机科学技术其他学科 提交时间： 2023-03-01

王月

摘要： 近年来，随着计算机视觉领域的快速发展，数字人的概念引起社会各界的广泛关注，高保真的人体、人头和人手的建模都得到了深入的研究。本文关注头部建模，基于神经辐射场提出一种可泛化的人头模型，结合人脸识别网络和人脸三维形变模型，将头部模型参数化，因此可以直接控制生成图像的身份和表情语义属性，并且支持自由编辑图像的渲染姿态。为了提高神经辐射场的渲染速度，我们将传统的体渲染改为体渲染结合二维神经渲染的方式，在保留渲染图像质量的同时在Tesla V100 GPU上达到15帧/秒的渲染速度。通过采集大量的头部RGB图像数据参与训练，模型可以生成高保真的渲染图像，并且在测试集上也有逼真的拟合结果，可以泛化到未曾参与训练的新的身份和表情语义。得益于神经辐射场对三维几何场景的隐式表示能力，模型的渲染结果具有多视角一致性，在新视角合成、表情迁移、驱动等方面有多种用途。

同行评议状态:待评议

 点击量 2133  下载量 289  评论