《3D ISP核心技术算法》系列文章是上海数迹智能科技有限公司结合自身多年来在3D ISP技术方向上的积累，推出的系列型科普文章。系列文章将对影响3D成像质量的主要问题逐一进行讲解，深入浅出的介绍问题出现的原理机制和解决方法，旨在促进3D视觉从成像到感知的应用工程实践，真正实现慧视界、智未来。

   本篇文章作为该系列的第一篇文章，将对iToF在复杂场景下的最主要环境误差源之一的多径误差进行介绍。

   多径是无线通信领域中一个常见术语，具体含义是指无线电信号从发射天线经过多个路径抵达接收天线的传播现象。各分量相互叠加，会导致信号的衰落和相移，对系统造成不良影响[25]。ToF向场景中主动发射（近）红外光，传感器接收场景中对应目标的反射光信号，利用（近）红外光的飞行时间计算深度。由于光在场景中会发生多次反射与折射，每个像素接收的信号包含多个路径的反射光，面临相似的多径问题，导致深度测量的误差。

   目前的ToF设备根据测量原理的不同，分为dToF和iToF两类。虽然多径现象是发生在场景中，但是由于测量原理的不同，多径对两类ToF的影响不一样，呈现出来的误差形式也不一样。dToF每个像素对曝光时间内所有接收信号的飞行时间做直方图统计，多径虽然会改变直方图的分布，从理想的单峰分布变成多峰分布。但是直达径信号对应的柱仍然会是峰值，dToF的多径消除方法只需要排除多个干扰项。对于iToF而言，每个像素把所有的接收信号当做一个合成信号处理，经过一系列非线性计算得到一个深度值，无法从该深度值中直接恢复出正确深度值。所以，iToF的多径消除更加困难。此外，由于dToF的研究起步晚，市面上的产品较少，dToF的数据获取比iToF更难。因此，目前关于多径的研究大多数都是基于连续正弦波调制的iToF（CW-ToF）。

   本文围绕iToF展开，介绍多径的影响、成因以及消除方法。在多径的消除方法部分，我们主要调研了2011-2018年关于多径的论文。由于篇幅限制，在文中展开介绍了其中具有代表性的4篇。感兴趣的读者可以根据本文最后的参考文献自行查阅，有问题可以联系我们，一起交流，共同探讨。

   目前的多径消除方法比较多样化，可以从信号处理的层面分析，可以从光学特性的角度分析，还可以利用深度学习方法。但是由于缺少标准的公开数据集，且各方法所需要的输入数据差异较大，所以大多数研究都是基于自己的数据上分析。目前基于深度学习的多径数据集包括FLAT[9]和[5]。其中，FLAT数据集包含2000个ToF测量值的仿真数据集，[5]中的数据集包含1050张带有多径的仿真图像，共计25个场景。此外，还包含6000张未标注的真实场景数据。

   方法[5]可以实现50%的像素误差在5cm以下，而原始误差75%都在9cm以上。方法[9]在自己的数据集上对比了LF2(libfreenect2)，DeepToF[5]、Phasor Imaging[11]和MRM[9]四种方法。结果表明DeepToF精度较差，而[9]和[11]的结果接近。

   本文从多径如何影响深度测量、多径的成因和多径消除的方法三个方面，全面介绍了ToF多径现象，分析了现有的多径消除方法的优劣，让读者对ToF中的多径现象有一个全面的了解。

  多径现象是ToF技术普及面临的一大挑战，多径消除也是3D ToF ISP中的一个重要技术点。ToF技术要想实现在任意场景下获取可靠和准确的深度数据，消除多径现象是一个关键。目前的多径消除方法还有很大的改进空间，期待感兴趣的同学们和我们一起交流，共同致力于推动ToF的发展。

[1] Dorrington A A,Godbaz J P ,Cree M J , et al. Separating true range me-asurements from multipath and scatering interfernce in commer-cial range cameras[j]. Proceedings of Spie the International Society for OpticalEngneering,20-11,7864.

[2] Jonathan Klein. Correction of Multipath-Effects in Time-of-Flight Range Data[D]. Uni-ersity of Siegen, 2014.

[3] Kirmani A , Benedetti A , Chou P A . SPU-MIC: Simultaneous phaseunwrapping and mul-tipath interference cancellation in time-of-fli-ght camerasusing spectral methods[C]// 2013 IEEE International Conference on Multimed-iaand Expo (ICME). IEEE, 2013.

[4] Freedman D , Krupka E , Smolin Y , et al. SRA: Fast Removal ofGeneral Multipath for ToF Sensors[J]. Lecture Notes in Computer Scien-ce, 2014,8689:234-249.

[5] Marco J , Hernandez Q , Muñoz, Adolfo, etal. DeepToF:Off-the-Shelf Real-Time Correc-tion of Multipath Interference in Time-of-Flight Imaging[J]. Acm Transactions on Graphics, 20-18, 36(6):1-12.

[6] Rhemann C , Izadi S , Kang R S B , et al. A light transportmodel for mitigating multipath interference in Time-of-flight sensors[J]. 2015.

[7] S. K. Nayar, G. Krishnan, M. D. Grossberg, and R. Raskar. Fastseparation of direct and gl-obal components of a scene using high frequ-ency illumination. In ACM TOG, volume 25, pa-ges 935–944. ACM, 2006

[8] Kadambi A, Whyte R, Bhandari A, etal. Coded time of flightcameras: sparse decon-volution to address multipath interference and recovertime profiles[C]. International Confer-ence on Computer Graphics and Interactive Techniques, 2013, 32(6).

[9] Guo Q,Guo Q, Frosio I, et al. Tackling 3D ToF Artifacts ThroughLearning and the FLAT Dataset[C]. European Conference on Computer Vision, 2018:381-396.

[10] Godbaz J P, Cree M J, Dorrington A A, et al. Closed-forminverses for the mixed pixel/ m-ultipath interference problem in AMCW lidar-[J].Proceedings of SPIE, 2012.

[11]Gupta M, Nayar S K, Hullin M B, et al. Phasor Imaging: AGeneralization of Correla-tion-Based Time-of-Flight Imaging[J]. ACM Transaction-son Graphics, 2015, 34(5).

[12] Fuchs S. Multipath Interference Comp-ensation in Time-of-FlightCamera Images[C]. International Conference on Pattern Recog-nition, 2010:3583-3586.

[13] Bhandari A, Feigin M, Izadi S, et al. Re-solving multipathinterference in Kinect: An in-verse problem approach[C]. IEEE Sensors, 20-14:614-617.

[14] Son K, Liu M, Taguchi Y, et al. Learning to Remove Multipath Distortionsin Time-of-Fl-ight Range Images for a Robotic Arm Setup-[J]. ar-Xiv: ComputerVision and Pattern Recogni-tion, 2016.

[15] Xuan V N, Hartmann K, Weihs W, et al. Multi-targetsuper-resolution using compres-sive sensing arguments for multipath interfer-encerecovery[C]. International Workshop on Compressed Sensing Theory and itsApplica-tions to Radar, Sonar and Remote Sensing, 2016: 148-152.

[16] Liu J, Liu Y, Hullin M B, et al. Fourier Analysis on TransientImaging with a Multifre-quency Time-of-Flight Camera[C]. computer vision andpattern recognition, 2014: 3230-3237.

[17] Mutny M, Nair R, Gottfried J, et al. Lear-ning the Correctionfor Multi-Path Deviations in Time-of-Flight Cameras[J]. arXiv: Computer Visionand Pattern Recognition, 2015.

[18] Agresti G, Zanuttigh P. Combination of Spatially-Modulated ToFand Structured Light for MPI-Free Depth Estimation[C]. European Conference onComputer Vision, 2018: 355-371.

[19] Agresti G, Zanuttigh P. Deep Learning for Multi-path ErrorRemoval in ToF Sensors[C]. European Conference on Computer Vision, 20-18:410-426.

[20] Jiang B, Jin X, Peng Y, et al. Design of mu-ltipath errorcorrection algorithm of coarse and fine sparse decomposition based oncom-press-ed sensing in time-of-flight cameras[J]. The Imaging Science Journal,2019, 67(8): 464-474.

[21] Bhandari A , Kadambi A , Whyte R , et al. Resolving multipathinterference in time-of-flight imaging via modulation frequency dive-rsity andsparse regularization[J]. Optics Lette-rs, 2014, 39(6):1705-8.

[22] Dorrington A A , Godbaz J P , Cree M J , et al. Separating truerange measurements from multi-path and scattering interference in com-mercial range cameras[J]. Proceedings of Spie the International Society for OpticalEnginee-ring, 2011, 7864.

[23] Whyte R, Streeter L, Cree M J, et al. Re-solving multiplepropagation paths in time of flight range cameras using direct and globa-lseparation methods[J]. Optical Engineering, 2015, 54(11): 113109-113109.

[24] Karel W, Ghuffar S, Pfeifer N, et al. Mod-elling andCompensating Internal Light Scatter-ing in Time of Flight Range Cameras[J]. Photo-

grammetric Record, 2012, 27(138): 155-174.

[25] https://baike.baidu.com/item/%E5%A4%9A%E5%BE%84/3975124?fr=aladdin