现代的方法主要把车道线检测看作像素级的分割问题，这导致效率问题以及遮挡和极端光照条件场景等问题变得很难解决。受人类感知的启发，严重遮挡和极端光照条件下的车道线识别主要基于上下文和全局信息。基于这一观察结果，我们提出了一种新颖、简单、有效的范式，旨在实现超快的速度和解决有挑战性场景的问题。具体而言，我们把车道检测过程看作一个使用全局特征的 anchor-driven的顺序分类问题。首先，我们用基于一系列混合anchor（行和列anchor）的稀疏坐标来表示车道线。在anchor-driven表示的帮助下，我们将车道检测任务重新表述为有序分类问题，以获得车道线的坐标。该方法采用anchor-driven表示，大大降低了计算成本。利用ordinal classification 范式的大感受野特性，我们能够处理具有挑战性的场景。在四个车道检测数据集上的广泛实验表明，我们的方法可以在速度和准确性方面达到最先进的性能。轻量级版本甚至可以达到每秒300帧以上(FPS)。

关键词：车道线检测，混合anchor表示，anchor-driven 有序分类

介绍

车道检测是自动驾驶和高级驾驶辅助系统(ADAS)的基本组成部分，用于识别和定位道路上的车道标记。虽然深度学习模型已经取得了巨大的成功，但仍有一些重要和具有挑战性的问题有待解决。

第一个是效率问题。在实际应用中，由于下游任务对检测速度要求较高，在车辆计算设备有限的情况下，车道检测算法被快速执行来提供实时的感知结果。此外，以往的车道检测方法主要基于分割，采用密集的自底向上的学习范式，这导致难以取得较快的运行速度。

除了效率问题，另一个挑战是无视觉线索问题，如图1所示。车道检测任务是寻找车道的位置，不管车道是否可见。因此，如何处理严重遮挡和极端光照条件下没有可见信息的场景是车道检测任务中的一个主要难点。为了缓解这个问题，能够潜在影响检测结果的额外线索是至关重要的。例如，道路形状、车辆行驶方向趋势、不被遮挡的车道线端点等都有利于检测。为了利用额外线索，通过扩大感受野来利用更多信息对车道检测是可取的。

这就提出了一个自然的问题:我们能否找到一种具有大感受野快速且全局的范式用于车道检测任务?基于上述动机，我们提出了一个稀疏的自顶向下的范式来解决效率问题和无视觉线索问题。首先，我们提出了一种新颖的 row-anchor-driven 的车道表示。一条车道可以用一系列预定义的行锚上的坐标表示。由于一个车道可以很好地由一组关键点表示(在一个固定的稀疏行锚系统中)，效率问题可以通过锚驱动表示的稀疏性来解决。其次，我们提出了一种基于分类的方式来学习锚驱动表示的车道坐标。使用基于分类的方式(与整个全局特征一起工作)，感受野与整个输入一样大。它使网络能够更好地捕获全局和长程信息用于车道检测，有效地解决了无视觉线索的问题。

此外，我们在此次工作中把车道线的行锚表示扩充为混合锚系统。根据我们的观察，行锚不能很好地适用于所有的车道线，而且会导致放大的定位问题。如图2a和2b所示，使用行锚时，侧边车道的定位精度明显低于当前车道。如果我们使用列锚呢?在图2c中，我们可以看到相反的现象，列锚系统对当前车道的定位能力较差。这个问题使得行锚难以定位水平车道(侧车道)，同样也使得列锚难以定位垂直车道(当前车道)。根据上述观察结果，我们建议使用混合锚(行锚和列锚)来分别表示不同的车道。具体地说，我们对当前车道使用行锚，对侧边车道使用列锚。这样可以缓解放大定位误差问题，提高性能。

在混合锚系统中，一条车道线可以用锚系统上的坐标表示。如何有效地学习这些坐标是另一个重要的问题。最直接的方法是使用回归。通常，回归方法只进行局部范围的预测，而对长期和全局定位的建模则相对较弱。为了应对全局范围预测，我们提出了基于分类的方式学习车道坐标，不同的坐标用不同的类别表示。在这项工作中，我们进一步把原始分类扩展为有序分类。在序数分类中，相邻类之间有密切的序数关系，这与原始分类不同。例如，在ImageNet[18]分类任务中，第7类是黄貂鱼(一种鱼)，第8类是公鸡。在我们的工作中，类是有序的(例如，第8类的车道坐标总是在第7类的车道坐标的右侧)。有序分类的另一个性质是类的空间是连续的。例如，7.5类这样的非整数类是有意义的，它可以被视为第7类和第8类之间的中间类。为了实现序数分类，我们提出了两个损失函数来建模类之间的顺序关系，包括基本的分类损失和数学期望损失。利用顺序关系和连续类别空间性质，我们能使用数学期望代替argmax来得到连续的预测类。期望损失是为了约束被预测的连续类等于真值。同时约束基本损失和期望损失，可以使输出具有更好的顺序关系，有利于车道的定位。

总而言之，我们工作的主要贡献有三个方面。

1、我们提出了一种新颖、简单、有效的车道检测范式。与之前的方法相比，我们的方法将车道表示为anchor-based坐标，并以基于分类的方式学习坐标。这个范式在解决没有视觉线索的问题时是非常快速和有效的。

2、在此基础上，提出了一种混合锚系统，进一步扩展了之前的行锚系统，可以有效降低定位误差。进一步将基于分类的学习扩展到有序分类问题，利用自然顺序关系进行分类定位。

3、所提出的方法达到了最先进的速度和性能。我们最快的模型可以达到300+ FPS，与最先进的性能相当。

本文是我们之前会议出版物[20]的扩展。与会议版本相比，本文有如下扩展:

Hybrid Anchor System 通过对放大误差问题的观察，我们提出了一种新的混合锚系统，与之前的文章相比，可以有效地减少定位误差。Ordinal Classification Losses 我们提出了新的损失函数，将车道定位视为一个有序分类问题，进一步提高了性能。Presentation & Experiments 论文的大部分内容被重写，以提供更清晰的陈述和插图。我们提供更多的分析、可视化和结果，以更好地覆盖我们的工作空间。这个版本还提供了更强的结果，在相同的速度下性能提高了6.3个点。

2.  相关工作

自底向上的车道线检测建模

传统方法通常使用low-level 图像处理技术来解决车道线检测问题。通过使用low-level 图像处理，传统方法本质上是以自底向上的方式工作的。他们的主要想法是通过HSI颜色模型和边缘提取算法等图像处理来利用视觉线索。Gold是使用立体视觉系统的边缘提取算法检测车道线和障碍物的最早尝试之一。除了利用不同颜色模型和边缘提取方法的特征外，[25]还提出利用射影几何和逆透视基于来利用现实世界中车道通常是平行的先验信息。虽然许多方法尝试了不同的传统车道特征，但从low-level 图像处理中获得的语义信息在复杂场景中仍然相对不足。这样，tracking是一种受欢迎的后处理解决办法，它增强了鲁棒性。除tracking外，还采用马尔可夫和条件随机场作为后处理方法。此外，还提出了一些采用模板匹配、决策树、支持向量机等学习机制的方法。

随着深度学习的发展，一些基于深度神经网络的方法在车道检测中显示出优越性。这些方法通常使用表示车道存在性和位置的heatmap来处理车道线检测任务。在这些早期的尝试之后，主流方法开始将车道检测视为分割问题。例如VPGNet提出了一种由消失点引导的多任务分割网络，用于车道和道路标记检测。为了扩大像素级分割的接收域，提高分割性能，SCNN在分割模块中采用了特殊的卷积运算。它通过对切片特征进行处理，将不同维度的信息一一叠加在一起，类似于循环神经网络。RONELD提出了一种通过分别寻找和构造直线和曲线动态车道线来增强SCNN的方法。RESA也提出了一种类似的方法，通过周期性特征平移来扩大感受野。由于分割方法的计算量较大，一些研究试图探索用于实时的轻量级方法。自注意力蒸馏(Self-attention distillation)采用注意力蒸馏机制，将上层和下层的注意力分别视为教师和学生。IntRA-KD还利用inter-region affinity distillation来提高学生网络的性能。这样，通过注意力蒸馏，一个浅层网络可以有与深层网络相似的表现。CurveLane-NAS引入神经体系结构搜索技术来搜索为车道线检测量身定制的分割网络。在LaneAF中，提出了以基于分割的affinity fields形式的投票检测车道线的方法。FOLOLane采用自底向上的方式，利用全局几何解码器对局部模式进行建模，实现全局结构的全局预测。

自顶向下的车道线检测建模

除了主流的分割范式，一些工作也试图探索其他范式的车道检测。在[39]中，采用长短期记忆(LSTM)网络来处理车道的长线结构。同样的原理，Fast-Draw预测每个车道点的车道方向，然后按顺序将其绘制出来。在[41]中，将车道线检测问题视为通过聚类二值分割段进行实例分割。E2E提出通过可微最小二乘拟合检测车道线，并直接预测车道线多项式系数。同样，Polylanenet和LSTR也分别提出通过深度多项式回归和Transformer[45]预测车道多项式系数。LaneATT提出使用以图像中的线条为锚的目标检测流水线。然后从密集线锚中对车道进行分类和定位。按照利用消隐点先验和目标检测流水线，SGNet 提出使用消失点引导的线锚。与2D视角的先前工作不同，也有很多方法尝试以3D的形式表示车道线。

与以往自下而上的工作不同，我们的方法是一种自顶向下的建模方法。通过自顶向下建模，该方法自然可以更多地关注全局信息，有利于解决无视觉线索问题。与以往的自顶向下方法相比，我们的方法旨在建立一种新的基于行锚和混合锚的车道检测范式，可以大大降低学习难度，加快检测速度。通过之前会议版本[20]中提出的范式，我们的工作已经成功地采用并推广到其他方法[52]。

3. ULTRA FAST LANE DETECTION

在本节中，我们将描述方法的细节。首先，我们在提出的混合锚系统上演示了用坐标表示车道线的方法。其次，展示了网络架构的设计和相应的有序分类损失。最后，阐述了复杂性分析。

3.1 使用anchors的车道线表示

为了表示车道，我们引入行锚进行车道检测，如图3所示。线用行锚上的点表示。但是，行锚系统可能会造成放大定位误差的问题，如图2所示。这样，我们将行锚系统进一步扩展为混合式锚系统。