随着机器学习算法的快速发展,人脸检测与特征点识别效果得到明显提升。Cao等对150名实验人员进行20种不同表情的人脸数据采集,包括RGBD数据与3D人脸网格模型,建立了FaceWarehouse数据库。采集对象由不同性别、年龄、种族构成,涵盖范围广。以FaceWarehouse中数据作为基础,Cao等对图像中人脸特征点进行标定,使用Cao等提出的训练方法得到人脸特征点回归模型,能够对视频中人脸特征点进行稳定跟踪。在视频中测试对象作出不同夸张表情下,此算法也能保持特征点识别的准确性和不同顿之间的连贯性,得到广泛应用。
Zhu等使用Basel Face Model数据库和Facewarehouse数据库来构建3DMM模型。通过调整3DMM模型中的身份分量(Aid)和表情分量(Aexp)使3DMM模型特征点投影到2D图像平面上的位置,与输入图像上人脸特征点检测结果一致。由此得到人脸3D重建模型。Baltrusaitis等也使用类似方法进行3D人脸重建。Thies等将Zhu等基于特征点匹配方法和Blanz和Vetter基于重道染图像匹配方法相结合,使用GPU进行加速运算,对视频中人脸进行实时重建。本章中采用基于Blanz和Vetter的3D人脸重建算法。