导读

在智能驾驶多相机感知系统中，时间同步偏差会严重影响数据融合精度与行车安全。友思特携手Solectrix推出proFRAME模块化图像采集和注入板卡,提供五种微秒级同步方案。

研发背景

在智能网联汽车与自动驾驶技术迅猛发展的当今时代，车载多相机系统已然成为车辆感知外界环境的核心关键。多个相机以不同角度对周围场景的图像信息进行捕捉，可赋予车辆更为全面且精准的环境感知能力。基于此，像目标检测、车道识别、交通标志识别等一系列保障行车安全与实现智能驾驶的重要功能才得以顺利开展。

然而，想要充分挖掘车载多相机系统的潜力，高精度的时间同步是绕不开的关键环节。由于不同相机在硬件特性上存在固有差异，其数据处理流程也各有不同，再加上传输过程中不可避免的延迟问题，若各相机之间无法实现精准的时间同步，采集到的图像数据在时间维度上就会出现偏差。这种偏差看似细微，实则影响巨大。它不仅会干扰多相机数据融合的准确性，降低环境感知的精细程度，更严重的是，可能会误导车辆的决策系统，引发错误决策，进而给行车安全埋下极大的潜在隐患。

针对上述亟待解决的问题，友思特proFRAME模块化图像采集和注入板卡提供了一套高精度的时间同步方案，具体包括多种不同时钟源的触发同步的方式，可以实现微秒级的高精度时间同步，助力智能网联汽车和自动驾驶技术迈向更高的发展阶段。

proFRAME模块化图像采集和注入板卡高精度时间同步方案

NO.1基板FPGA时钟信号触发同步所连接的多个相机

proFRAME板卡的基板FPGA生成频率为40MHz的时钟信号，该时钟信号的间隔为25ns。在图像数据处理时，无论是进行图像采集任务，还是执行图像注入任务，基板FPGA都会利用这个时钟信号，为每一帧图像打上纳秒级别的高精度时间戳。

通过基板FPGA生成的时钟信号，可以对与之连接的每一个相机进行触发和同步。每一个相机都在这个统一的时钟信号控制下进行图像采集，能够实现微秒级的多相机时间同步，保证不同相机采集到的图像在时间上高度一致，为后续的多相机数据融合和环境感知提供可靠基础。

NO.2 特定相机脉冲信号触发同步所连接的多个相机

部分型号的相机支持生成和输出脉冲信号，这种情况下，该相机生成的脉冲信号可以通过proFRAME板卡同步所连接的每一个相机。

当相机产生脉冲信号后，该信号通过同轴线缆传输至板卡的FPGA，并转接分送至板卡所连接的每一个相机。每个相机接收到这一脉冲信号后，会以此为基准，启动图像采集流程。由于脉冲信号的精确性，能确保各相机在几乎同一时刻开始采集图像。

NO.3外部触发信号触发同步所连接的多个相机

除了多个相机之间的同步，在智驾领域，还需要与其他类型传感器如激光雷达、毫米波雷达、惯导设备等进行时间同步。proFRAME板卡支持外部触发信号同步，通过接收外部设备传输的脉冲信号，通过板卡同步所连接的每一个相机。

NO.4 ECU旁通触发时间同步

proFRAME板卡支持实时采集和旁通输出。单通道采集到的数据一路通过基板的FPGA和PCIe接口传输至主机，同时分出一路数据注入到ECU/域控等设备。整个过程中传输的数据不仅包括视频流，还包括控制信号如I2C和GPIO等。

ECU/域控可以通过旁通链路的反向控制通道，传输触发时钟信号，触发与旁通链路相对应的每一个相机，启动图像采集流程，从而同步所连接的每一个相机。

NO.5 多板卡触发时间同步

当智驾/HiL系统所需要的相机数量超过8时，需要多张板卡才能覆盖所有相机的图像采集，同时，需要实现所有相机的时间同步。因此，需要板卡与板卡之间进行时间同步。

proFRAME板卡FPGA生成的时钟信号，同步板卡本身所连接的每一个相机，同时，可以通过内部触发通道（Internal Trigger Interface）输出，从另一张板卡的外部触发通道（External Trigger Interface）输入，再由FPGA转发时钟信号至每一个相机，从而同步两张板卡所连接的所有相机。

方案实际测试

1. 三相机进行时间同步和采集测试

硬件连接框图如下：

proFRAME板卡连接三个森云相机，型号为SG5-IMX490C-5300-GMSL2，像素为2880*1860，采集帧率为30fps，通过板卡FPGA时钟对三个相机进行同步。

测试结果如下：

经过proFRAME板卡对三个相机进行触发同步启动相机曝光采集数据，如图中红框和蓝框所示（左侧红蓝框为采集的通道，右侧红蓝框为当前图像帧的纳秒级时间戳），同步误差大致15微秒。

三相机进行时间同步和旁通采集测试

硬件连接框图如下：

proFRAME板卡连接三个森云相机，型号为SG5-IMX490C-5300-GMSL2，像素为2880*1860，采集帧率为30fps，通过板卡FPGA时钟对三个相机进行同步。同时，将channel 0的旁通输出通道，接入到Channel 4通道进行采集，以验证旁通数据的内容和时间戳。

测试结果如下：

经过proFRAME板卡对三个相机进行触发同步启动相机曝光采集数据，如图中红框所示（左侧红框为采集的通道，右侧红框为当前图像帧的纳秒级时间戳），同步误差大致15微秒，同上一项测试。

其中通道4为通道0的旁通数据，如图中绿框所示（左侧绿框为采集的通道，右侧绿框为当前图像帧的纳秒级时间戳），旁通的视频流和原始相机视频流的时间误差大致为2微秒。

友思特产品

proFRAME图像采集和注入板卡

proFRAME图像采集和注入板卡采用模块化的设计，主要分为基板和相机适配器，一块基板可以安装两个相机适配器模块。通过模块化的设计，对于车载或自动驾驶场景中的采集和注入应用，只需更换相机适配器模块，无需替换整块板卡，也无需软件端的修改，即可适配各种SerDes协议的摄像头/ECU/显示屏，现已支持GMSL1/2/3, FPD-Link Ⅲ/Ⅳ, GVIF3, CSI-2等SerDes协议。