首页>论文>正文
日期
11/07
2023
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

全流程端到端的视觉系统,实现工业AI质检规模化应用
收藏
2023-11-07 09:58:13来源: 中国机器视觉网

小到一个零部件,大到汽车、飞机这样的整机产品,工业质检是确保产品质量和维持生产稳定的关键技术之一,其任务是找出各种工业制品的外观瑕疵。

以往,工业产品的质量检测一般依赖人工目检,不仅成本高、效率低,而且难以满足大规模的质检需求。随着工业成像、计算机视觉和深度学习等新技术的更新迭代,基于人工智能技术的工业质检得到了大幅发展。尤其是深度学习技术,因其在处理复杂工业图像时展现出卓越的性能优势,逐渐取代传统技术,在工业质检中占据主导地位,成为主流的解决方案。

然而,与一般计算机视觉检测任务相比,工业缺陷检测仍面临许多固有挑战,导致许多通行方法难以满足工业生产的需求,在实现应用中仍然存在不少问题,需要更适合的技术体系与算法来解决。

1. 工业AI质检面临诸多挑战

工业缺陷固有的特征包括缺陷样本稀缺、形状不规则、类型未知等,其中正常与异常状态的区别十分微小,检测难度大幅增加。总结而言,在将深度学习等技术应用于工业AI质检时,会面临以下挑战。

1.1 样本匮乏

工业生产容易获取正常的数据样本,而缺陷样本在很多场景中比较少,这是因为生产工艺在不断进步,严格把控次品率,且某些缺陷的形成极具偶发性,从而让工业数据呈现明显的不均衡现象。这使得监督学习算法难以高效建立准确模型,需要无监督学习等方法处理未标记的数据,自动发现模式和结构,从而检测出各类非合格品。

1.2 工业缺陷难区分

在工业场景中,经常会出现划痕、麻点、裂缝等多形态的缺陷类型,且大多情况下缺陷类型极难区分,不仅需要图像级别的对比学习,更可能需要使用像素级别的对比学习得到更加细节化的信息,进而判断缺陷情况。

1.3 场景复杂性和多样性

工业细分门类多,场景复杂零碎,涉及不同的产品及加工类型,且每个场景的数据具有高度的多样性和变化性。将AI模型大规模应用于生产环境,就需要一套系统性的方法,提升模型开发的效率。

1.4 成本及实时性要求

出于成本及快速生产需求,工业中通常需要实时监测和质检,这意味着需要能够快速部署和迭代模型。这就需要拥有可以自动搜索和选择最佳模型、特征和超参数配置的方法,从而加速模型开发和部署过程。

2. 打造全流程端到端系统,破解落地难题

思谋科技核心团队有二十多年的计算机视觉研究经验,且自成立伊始,便专注于智能制造,在工业AI质检领域有深入的投入与应用。

针对工业AI质检应用落地难题及技术趋势的要求,思谋以自研SMore ViMo系列视觉产品为核心,集先进的工业视觉算法、行业Know-how为一体,打造了平台化、系统化的工业AI质检解决方案。

SMore ViMo是一套全流程工业视觉端到端系统,通过端云一体产品设置,打通了数据收集和标注、模型训练、模型部署、模型迭代全流程,有效降低了操作门槛,无需专业算法和软件工程师参与,也能迅速建立与应用AI模型,提升产线效率。

相较于传统的解决方案,SMore ViMo用标准化的手段解决分散的工业场景,克服了可复制性和标准性等关键性问题,具有部署周期短、低门槛、维护简单等显著优点。

到目前为止,SMore ViMo已搭载超过1000多个细分行业场景的智能化生产模型,内嵌算法增强等工具超过百余种。

近年来,随着无监督学习、小样本学习、以及自动机器学习(AutoML)、智能标注等技术逐渐在工业质检中获得了重视及应用,SMore ViMo也不断纳入这些新技术,帮助企业更好地应对复杂多变的工业环境,实现技术落地。

2.1 以无监督学习破解数据困境

在AI质检中,当缺陷模式已知,且有充足的标注数据时,一般采用监督学习(Supervised Learning)方法,这一方法也已在许多视觉任务上取得了较为成熟的发展与应用。

但在实际的工业生产情况中,含有缺陷的样本往往难以获取。面对缺陷的未知性与无规则性,基于缺陷先验知识的方法存在较大的局限性,因此无监督学习((Unsupervised Learning))引起了广泛重视。

在无监督学习中,模型从未标记的数据中自动学习模式和结构,无需明确的监督信号或人工标签。与监督学习不同,无监督学习仅需要易于获取的正例样本用于模型训练,而不需要使用真实的缺陷样本。它不仅能解决监督学习方法无法发现未知缺陷的问题,而且拥有比传统方法更强的对图像特征的表达能力。

目前,无监督学习方法在工业AI质检中已取得令人振奋的进展。在背景较为简单或固定的产品上,相关方法已达到了较高的性能。虽然在复杂背景的数据上,依然无法达到监督学习方法的精度,但它的优点在于对未知缺陷的检测能力,和无需像素级精确标注。

思谋在无监督学习方面也进行了诸多探索与应用。

在基于无监督学习的自适应模型方面,思谋SMore ViMo创新地集成了效果更佳的基于知识蒸馏的自适应预训练网络,进而学习正常图像的分布模式。通过自适应预训练网络,对图像处理的差异性可实现对未知异常数据精准识别,很好地解决了产线中新增缺陷类别的异常检测问题。

此外,针对工业场景中频繁出现的缺陷数量少和缺陷类别分布极度不平衡的情况,SMore ViMo引入了数据样本自适应扩充技术,将目前最先进有效的mixup、RandAugment、GridMask、Cutout、CutMix等数据增广方法与最优分类间距分析相结合,并基于最优分类间距分析的方法,将数据按照图片数量分为head类、medium类和tail类,然后引入残差学习机制来提高网络对于tail类的识别效果,进而实现快速高效的推理过程。

在某汽车仪表盘项目中,思谋基于无监督学习技术进行异常检测,仅需输入几十张无缺陷的仪表盘图像,即可对后续生产过程中出现的未知仪表盘异常进行检出,实现了100%的缺陷检出率,对4像素大小的印刷异常也能轻松检出。

企业微信截图_1695028973732_upscayl_4x_realesrgan-x4plus.png 企业微信截图_16950289786924_upscayl_4x_realesrgan-x4plus.png


2.2 以AutoML提升模型开发效率

工业生产场景繁多,涵盖了从电子、汽车、精密制造、医药到日用消费品等众多领域,不同领域的产品和零部件具有不同的形状、材质和性能特点。对于工业AI质检,不同的产品、生产过程,带来了不同的检测需求。

现有的基于深度学习的方法,大多依靠手工设计深度神经网络,依照经验设置超参数。这导致很多模型结构并不适用于工业场景,模型开发也费时费力,无法进行大范围应用。

自动机器学习AutoML(Automated Machine Learning)是一种机器学习方法,通过自动化的流程设计,包括数据预处理、特征选择、模型选择、超参优化和网络结构设计等步骤,减少人工干预,降低技术门槛,加速模型开发,并提高机器学习模型的性能。

大部分工业视觉的使用场景较为具体,利用神经架构搜索等自动机器学习的方法,自动搜索针对特定任务场景的最优模型,是一种可行的解决方案。这不仅有助于弥补人工经验设置的不足,还能提升模型的效率。

在AutoML领域,思谋进行了系统的探索与应用。SMore ViMo创新性地集成了自研的AutoML算法系统,并在300多个工业场景和100多万工业数据下得到验证,其涉及超参数优化、网络结构设计、模型训练等多个方面,能够适配工业场景中的分类、分割、检测、关键点等数十种任务。

比如,在超参数优化方面,通过采用超参数优化算法和根据实际项目数据设计的自动生成超参数选择范围,包含学习率、正则化方法、数据增广等,能够在各种不同的工业场景下,实现更加快速的自动化模型训练。

在ViMo的多行业应用中,AutoML算法产出的模型已经能够超越90%算法工程师手动调参产出的模型。例如,相比于人工调参,AutoML方法在工业缺陷的语义分割任务上平均mIoU指标提升25%。


企业微信截图_16950289844141_upscayl_4x_realesrgan-x4plus.png

在某机械制造公司的硬盘过滤器项目中,思谋借助AutoML手段,针对2D/3D不同的成像方案、不同光源、不同缺陷类型等,全自动设计了9个AutoML算法模型法,并在项目中生产了超过400个模型及超过50版本SDK。算法工程师在完成方案设计之后,剩下的模型训练工作都可以交给AutoML完成。

企业微信截图_16950289933794_upscayl_4x_realesrgan-x4plus.png 企业微信截图_16950290004401_upscayl_4x_realesrgan-x4plus.png

在某头部电子器件制造公司TFOG项目中,借助AutoML,在无需算法工程师参与的情况下,针对新生产型号的工件,仅需30分钟即可完成新版SDK的更新适配,极大提升了模型迭代效率。


2.3 以智能标注提升数据质量

数据标注是模型训练的重要一环,在一般的模型开发过程中,人工标注时间往往占据模型训练的一半时间以上。随着AI质检的普及,减少数据标注时间,提升工作效率也变得日益重要。

尽管无监督学习等技术已经取得了不俗的成绩,但对于高精度的工业质检来说,使用高质量的数据来训练模型,仍是不可或缺的。为了降低开发门槛,智能标注必不可少,它可以减少人工标注中可能引入的错误,提高数据质量。

思谋在SMore ViMo产品体系中,亦加入了智能标注功能。在实际操作过程中,只需标注一张图片上的一种物料,系统将会通过预置模型,自动标注出所有图片其对应的相同物料,无需再繁琐地标注多张图片中的相同物料。通过应用智能标注功能,数据标注时间最高可减少80%。

 企业微信截图_16950290081339_upscayl_4x_realesrgan-x4plus.png

企业微信截图_16950290155356_upscayl_4x_realesrgan-x4plus.png

3. 总结与展望

作为计算机视觉技术的重要落地场景,工业AI质检因其广泛而重要产业价值,一直是研究与应用的重要领域。近年来已经涌现出大量的新方法,并已逐渐投入应用,包括无监督学习、AutoML等。

然而,尽管目前工业AI质检方法已在许多工业场景上表现出较高的性能,但现有技术依然存在很大的局限性,限制了进一步的技术落地。

该领域也仍有许多极具潜力的研究方向有待进一步探索。比如,现有方法仍缺乏完备的可解释性,而可解释性的研究不仅有助于理解模型工作机制,还能促进新型方法的研发;模型可以进一步考虑融合多模态数据的特征,来增强检测性能及应对更复杂的场景;生成式人工智能技术,有望带来新的改变,比如根据现有数据,生成新的缺陷样本,从而弥补缺陷样本不足的问题。

依托SMore ViMo,思谋也将针对工业AI质检的挑战,不断开发新的技术方案,实现跨行业的应用,全面覆盖消费电子、汽车、新能源、精密工业、食品医疗等多行业应用场景,实现新型智能制造生产方式,引领智能制造行业朝着普适性、规模化的方向前进。

(深圳思谋信息科技有限公司 周超 张驰)