智能手机作为现代人最常用的移动设备，为人们日常生活带来了极大便捷。全面屏作为未来智能手机的发展趋势，能带来更加惊艳的视觉效果。在不牺牲美观的前提下，全面屏智能手机需要解决前置RGB摄像头和ToF深度相机置于透明屏TOLED（Transparent Organic Light Emitting Diode）下拍摄的难题。由于TOLED透光率有限，在拍摄过程中存在光衍射、反射和折射等效应，不仅会导致屏下拍摄RGB图像产生模糊、色偏、细节丢失、噪声等图像质量退化问题，还会导致屏下ToF深度信息丢失，包括3D点云精度下降、X-Y方向细节丢失等。
图1 屏下ToF拍摄原理及反射引起FPN
针对智能手机屏下ToF拍摄高质量深度图像的迫切需求，西安交通大学人工智能学院葛晨阳团队设计制作了基于智能手机的TOLED屏下ToF拍摄装置，深入研究基于深度学习的TOLED屏下ToF深度恢复算法，具体包括屏下ToF深度相机成像噪声模型分析、屏下ToF真实数据采集和大规模合成数据集生成、复数神经网络的RAW域深度恢复，不仅解决了屏下ToF深度图像和红外图像的模糊和噪声问题，而且提升了3D点云数据Z方向测量精度和X-Y方向细节分辨能力，并在屏下ToF真实3D人脸重建上验证了算法的有效性。
图2 TOLED屏下ToF深度恢复网络
图3 去除FPN噪声及屏下ToF 3D人脸恢复效果
上述研究成果近日在线发表在人工智能顶级期刊《模式识别汇刊》（IEEE Transactions on Pattern Analysis and Machine Intelligence）上，题为“屏下ToF深度图像恢复”（Depth Restoration in Under-Display Time-of-Flight Imaging），论文第一作者为人工智能学院博士生乔欣，指导教师葛晨阳博士，西安交通大学为第一作者单位和第一通讯单位。
葛晨阳博士团队在计算视觉、三维成像、嵌入式AI、VR/AR领域有着十多年的研究积累，擅长跨学科技术创新，拥有近20项美国发明专利。技术成果和专利被广泛用于3D人脸支付、智能手机、智能装备。该团队同智能手机、智能车、智能家电等行业领军企业开展了密切合作。
论文链接：https://ieeexplore.ieee.org/document/9903562
