随着自动驾驶技术的迅速发展，纯视觉解决方案因其成本效益、结构简洁以及类似人类视觉的识别和理解能力而受到广泛关注。然而，现有的视觉传感器在特定光谱操作范围和处理混合光/电信号的复杂性方面存在限制。在自动驾驶场景中，车辆需要应对从明亮的白天到昏暗的夜晚的各种光照环境，以及来自道路反射、车辆尾灯和其他光源的各种波长的干扰，这些因素都可能削弱自动驾驶系统的精确性和可靠性。为了克服这些挑战，视觉传感器必须具备从可见光到近红外（NIR）光谱的正负光响应能力。

近日，湖南大学联合香港理工大学的研究团队采用视觉融合方法，整合了Al₂O₃/二维Ruddlesden-Popper钙钛矿（2D PVK）异质结构介质和MoS₂/BP/MoS₂异质结构通道架构，实现了在极端光照条件下超越人类视觉系统的处理能力。该视觉融合系统通过整合可见光和近红外光谱来提升环境感知能力。所采用的新型视觉传感器具备非易失性正负光电导特性，能够在不同光照条件下实现高效的图像感知和融合。通过实验验证，该系统在理想和非理想光照条件下均展现出高准确率和低误差率，为自动驾驶领域提供了一种创新的视觉解决方案。这项研究以“Rational design of a vision fusion system with visible and near-infrared spectral integration for improved environmental perception”为题发表在National Science Review期刊上。

在复杂的驾驶场景中，自动驾驶系统的纯视觉解决方案遇到了恶劣天气条件会导致目标识别无效。为此，这项研究提出了一种基于视觉传感器的视觉融合解决方案，该解决方案可在可见光到近红外光谱范围内具有双向光响应。这是一种具有可见光到近红外的负光电导（NPC）和正光电导（PPC）特性的二维视觉传感器。该器件由Al₂O₃/2D PVK异质结构电介质和MoS₂/BP/MoS₂异质结构组成（图1b）。研究人员通过高分辨率透射电子显微镜和能量色散X射线光谱元素分布图来验证器件的清洁界面。通过紫外线光电子能谱（UPS）、吸收光谱和密度泛函理论（DFT）计算来确定所涉及材料的能带，上述相关结果如图1所示。

图1 用于图像融合的视觉传感器及其工作原理

为了更深入地了解该视觉传感器的基本光电特性，研究人员使用波长为532 nm和1064 nm的光源分别模拟可见光和近红外光环境，相关实验结果如图2所示。实验结果表明，该视觉传感器在532 nm和1064 nm的光照下展现出波长依赖的正负光响应行为。

图2 视觉传感器的光响应特性

考虑到与波长相关的光响应特性，研究人员使用交叉开关配置来形成为图像感知、特征提取和边缘信息处理量身定制的传感器内阵列。每个光传感单元由三个并联互连的器件组成，如图3a所示。图3展示了基于视觉传感器的图像边缘特征提取的边缘提取计算电路。

图3 基于视觉传感器的图像边缘特征提取的边缘提取计算电路

最后，研究人员根据人脑机制的启示引入了传感器内视觉系统，专为驾驶员辅助系统内的安全监控而设计，以促进辅助安全驾驶，相关方案设置及模拟结果如图4所示。

图4 机器视觉系统的全电路模拟实现用于图像识别和决策

综上所述，这项研究开发的视觉系统通过采用视觉融合方法，整合了Al₂O₃/2D PVK异质结构介质和MoS₂/BP/MoS₂异质结构通道架构，实现了在极端光照条件下超越人类视觉系统的处理能力。与传统的基于视觉的解决方案相比，该系统在各种驾驶场景元素的识别准确率上达到了99.0%，即使在具有挑战性的光照条件下，也能保持97.5%的准确率。该视觉融合策略使视觉系统能够更好地理解复杂的驾驶场景，并在自动驾驶的背景下做出更准确、全面的决策。

（文章来源于互联网，如有侵权，请联系删文）