首页科技快讯 AI前沿：工业视觉的技术与产品挑战

AI前沿：工业视觉的技术与产品挑战

来源：晰数塔互联网快讯时间：2021年01月19日 19:00

编者按：本文来自微信公众号“机器之能”（ID:almosthuman2017），作者：创新奇智工业视觉，36氪经授权发布。

人工智能公司创新奇智的工业视觉产品团队依托ManuVision工业视觉平台，在工业制造的多个典型场景中，积累了宝贵的AI技术赋能与产品落地经验。本文以问答方式与创新奇智的工业视觉产品负责人探讨了AI在工业视觉领域落地面临的现实挑战，以及创新奇智团队应对这些挑战的核心方法论与技术产品策略。

问：以AI为代表的前沿科技在工业制造特别是工业视觉场景中能贡献哪些核心价值？

答：工业视觉是工业自动化的核心领域，包括检测、识别、测量、定位等关键任务。擅长解决视觉感知问题的AI技术已成为创造价值的重要切入点。今天，全球制造业面临巨大的产业升级压力。除了头部少数大型生产企业，大部分制造业生产线面临需求快速迭代和信息化、自动化、柔性化不足的矛盾：一方面，快速变化的全球市场呼唤按需生产、按需定制、按需迭代的高效产线；另一方面，数据采集难、连通难，自动化程度低，自动化工位之间缺少协同，良品率难于定量评估和精确归因等现实问题，共同构成了制造业效率提升的整体挑战。

大部分制造业企业需要在较短的建设周期里，大跨步补齐信息化、自动化、智能化这三块短板，实现跨越式发展。物联网、大数据、机器视觉、自动规划与决策、自动控制等前沿科技是此过程中的关键技术。其中，AI相关的技术更是由“制造”到“智造”跃升的基础。

问：具体到工业视觉场景，为什么工业视觉需要人工智能？

工业视觉要解决的是如何“看”清制造场景与如何“感知”“理解”关键信息的问题。当前，光学成像技术，多传感器融合技术，感光和光学处理芯片技术大幅进步，使“看得更小、看得更清”成为现实。在此基础上，AI恰好可以帮助我们“感知更准确、理解更深刻”。

以电子制造行业为例，我国相关生产线上与视觉检测有关的工位每年人工成本约60亿元。前沿科技的切入，会将视觉检测这一工序从较粗放、难量化的劳动密集型工位升级为可精准定量、可完整溯源、可智能集成数据的全自动工位，带来生产效率和产品质量的大幅提升。

问：在工业视觉领域规划、定义、设计一款产品或解决方案，是一种怎样的体验？

挑战很大。要说体验么，“苦其心志、劳其筋骨”吧。在工业视觉领域，一个产品的正向开发会经历需求调研、总体方案设计、关键技术验证、子系统方案设计、样机试制、现场方案验证、产品发布和市场推广等环节，每个阶段都要产品经理带领团队在正确的方向上，投入全部精力去打磨和优化。

上述过程中，产品经理的思路需要在宏观和微观之中随时切换：在考虑客户需求、产品定位时需要宏观思考；在考虑技术实现时需要聚焦在各个关键层级的技术细节；在布局产品线时需要考虑差异化配置对各类客户的匹配；在现场方案验证时需要关注具体数据和定制化需求。

但在这个领域做产品经理也是成就感满满的：工业视觉类产品，特别是自动化视觉设备是最能够带给人成就感的产品。当产品成功交付并在客户产线稳定运转时，客户的肯定就是对产品开发团队的最好回报。

问：这个领域，有哪些不同于其他领域的产品规律？

首先，需求条目多：在工业制造领域，客户最关注的两个指标是产能和质量。围绕这两个看似矛盾的指标，工业视觉的产品设计可拆解为多项设计指标：

产能相关的主要指标包括上下游交接方式，产品/设备/仪器TT（tack time）时间，产品稳定性（MTBF、MTBR），机种切换时间等。

质量相关的主要指标包括检测/测量准确率，过漏检，重复性等。

由于工业现场的特殊环境（恒温、恒湿、超净、安全）需要考虑的主要指标包括产品的ESD，重量，急停，FFU等。

行业内客户在方案沟通阶段，均会给出详细的规格要求，有时甚至覆盖几百到上千条规格定义。

其次，需求来源多：工业制造领域的产品，有鲜明的企业级（ToB）产品的特征，其决策方、购买方和使用方通常不是同一团队。例如，决策方可能是工程技术部或设备制造部，购买方是采购部门，使用方是生产部门。不同阶段面向的客户部门不同，不同部门对产品的诉求也不同。

再次，定制化程度高：由于不同客户的产线布局不同，产线线速不同，上下游制程设备不同，甚至电梯高度不同（决定设备最高的高度），因此交付给每个客户的产品有较大的定制化。但相同的工业视觉产品系列，其核心功能应保持稳定。

问：工业视觉技术可抽象为如何“看”、如何“感知/理解”、如何“规划/决策”、如何“执行”等几个方面。以“看”为例，相关的成像技术、照明技术等今天达到了何种水平？

从成像芯片维度（更精、更优、更广、更快）看：

芯片工艺制程水平的提高使得大靶面的CMOS芯片成为主流工业相机芯片，2M→12M→29M→60M→71M→150M的演进使工业检测能够触达微米级精度，高满井容量、高动态范围、低噪声的特性大幅提高了工业相机的成像质量；

高精度的镀膜工艺实现了像素级的镀膜，基于上述技术的偏振相机、高光谱相机能够在工业检测场景获取待检测产品更多维度的信息；

TDI技术能大幅降低曝光时间，提高相机的扫描频率，配合高速图像采集卡，将视觉检测搭载在高线速的自动化产线。

从照明光源维度看：十年前机器视觉行业的光源产品基本被日本企业垄断。今天，国内机器视觉光源厂家迅速崛起，光源产品的种类和质量不断提升。目前常见的LED光源（条形光、环形光、同轴光、穹顶光、背光源）及光源控制器已广泛应用在各种视觉系统，国内供应商也积极配合各类需求和场景的打光验证和光源方案。同时，国内各光源供应商积极推进自主光源甚至视觉系统的研发，例如多角度线光源、线扫分时曝光系统、视觉一体化控制器等。此外，投影结构光、激光线光源也在多项3D轮廓或缺陷检测场景得到应用。

成像方案维度：目前的工业视觉产品和设备成像方案多样，面阵方案（静止或飞拍检测）、线阵方案、线激光扫描、编码结构光、白光共聚焦等多种方案已经得到成熟应用，而复杂的多工位检测设备常常集成上述多种方案，实现更高成像率的覆盖和3D轮廓测量。相信在不久的将来，计算成像、高光谱成像、光场相机等新技术会进一步集成在工业视觉方案中。

问：“光”和“光学”是如何影响着具体项目的技术实现的？想在产品中用好光学技术，在设计上要着重思考哪些问题？

作为光学工程师，“Garbage in, garbage out（垃圾图像进，垃圾结果出）”是基本理念，光学系统对工业视觉项目的影响也可见一斑。

总体方案层面：复杂的工业视觉设备基本都会集成多种成像方案，因此也会有多工位的设计，只有光学方案确定，才能够确定设备的工位分布、设备布局。

光学系统对产品的结构和自动化设计有约束：受需求驱动，工业视觉产品的分辨率高，同时还要考虑设备的可调试、可维护等DFX需求，视觉系统通常需要预留调节机制。合格的光学工程师会在设计光学方案的同时输出视觉方案对机台抖动、定位重复性、视觉机构调节自由度、各自由度调节范围、载台平面度等指标约束，只有这些指标明确，才能够让下游设计不返工、调试变轻松。

光学系统对算法性能有指标约束：在工业检测场景中，工业视觉检测装备的核心指标为缺陷检出率和检测准确率等。例如，客户要求90%的缺陷检出率，一般可拆解为x%的缺陷成像率乘以y%的在成像中的缺陷检出率。两项指标的乘积约为90%，则单项指标还需要高不少。光学工程师在进行成像验证时需要和算法工程师紧密沟通，确认缺陷成像是否满足算法检出的需求，以保证缺陷检出率为最终目标。

总体上，我们认为，工业视觉的产品研发和设计一定要光学先行。视觉工程师除了设计光学方案之外，还需要投大量精力在先进的成像方式预研、先进产品预研等课题上。例如，在LCD时代预研OLED产品和制程，在OLED时代预研QLED和Micro LED，这样在上游产品和制程不断更迭的过程中，知识积累才不会落伍。简单说，视觉工程师应和自动化工程师一样——甚至需要更加——了解制程和工艺。

问：在“感知”层面，工业视觉软硬件组件到底需要对工位场景感知到什么程度才能满足业务需求？

感知有多重含义：在检测场景，视觉产品实现缺陷的准确检测，又快又好地替代人工；在对位场景，视觉产品识别待抓取/组装/压接等操作的物体并精确反馈物体位置；在测量场景，视觉产品对制程重点关注的几何量进行测量，反馈准确的测量结果。上述场景都需要视觉算法的合理选取、设计和配置。

对检测场景，感知的基础需要建立在客户的人工检测基准上。对于膜材、卷料、玻璃等各类待检测产品和工艺，只要存在人工检测工位，就会有具体、详细的人工检测基准。通过各类算法/模型将图像上的“疑似异常”检出是第一步（特征检测、对象检测）。之后，如何读懂客户的人工判定逻辑并设计相应的算法逻辑更为重要。例如，常见的人工判定基准会规定缺陷的长、宽、面积、点群距离、深度等，我们的算法逻辑也需要以此为依据进行设计。

对于测量场景，常见方式包括2D和3D测量。此类场景首先需要确认客户要求的检测精度，据此拆解出视觉系统的分辨率和测量算法精度等关键指标。曾经有客户将二次元（投影影像测量仪）设备作为测量的基准设备，一切测量设备如通过验收，均需要和二次元设备的测量结果进行对比——在这种情况下，就算某个设备的测量结果已达到其测量原理的极限，但如果和基准设备无法吻合，也无法顺利交货。

对位场景在组装、抓取、贴装、打孔等工艺较为常见。这同样需要首先确认客户要求的对位精度。电子制造行业要求的定位精度已达到微米级。对位视觉组件的标定、特征识别、坐标计算等各环节均要求亚像素级别的精度，有的场景还需要多次对位才能保证精度。

问：一个好的工业视觉产品或解决方案该如何选择、组合使用不同的感知技术？

综合能力是关键。制造业客户更倾向于将整条产线或整条产线中的视觉产品指定给一家方案供应商/设备制造商去集成。这种背景下，如果想要拿到更优质的订单，就必须在专攻一种视觉产品的基础上，同时拥有其余视觉产品或方案的掌控/设计/开发能力。对于好的工业视觉产品或解决方案，一定要具备完整的各类视觉场景的解决能力，以2D/3D测量、特征检测等传统算法为基础，并依靠基于深度学习的检测、分类、分割在某些复杂的场景打出差异化。

问：和传统计算机图形学、传统计算机视觉技术相比，以深度学习为代表的新一代AI技术有何特长？深度学习技术与传统技术之间，在解决工业视觉问题上是一种什么样的关系？

举个例子，在某些外观缺陷检测的项目中，前期只使用传统算法，在保证缺陷检出率的前提下，过检率较高，客户的人工复判工作量较大，并没有为客户减少太多人力。在对过检图像进行分析后发现，过检主要由脏污、灰尘等引起，而这些过检源依靠传统算法很难与真实缺陷进行区分。通过引入深度学习算法，验证了基于深度学习分类的过检抑制效果，通过几轮模型优化（现场过检图像返回→模型训练并更新模型→现场验证并继续反馈过检图像）后，过检率大幅降低，客户十分满意。

另一个例子，手机整机的外观检测一直是电子制造领域难度很大的方向。2017年前鲜有厂商敢于尝试。2017年后，随着视觉器件硬件方案（频闪、飞拍、6轴机器人）的多样化，市场上逐渐有厂商开始尝试。由于手机功能模块多（摄像头、听筒、扬声器、按键、充电孔）、形态多样（玻璃、金属、镜面、磨砂面、倒角、弧面）、缺陷类型多样（所有外观缺陷的集大成场景），导致成像情况复杂，难以用传统的基于特征检测的算法完成所有缺陷覆盖。基于深度学习的算法在最近几年的试用中获得很不错的反馈。相信在不久的将来，一定会有一款成熟产品能越过整机外观检测极高的技术门槛。

这说明，成熟可用性能可靠的机器视觉产品，一定需要传统算法和深度学习算法的相辅相成。例如，面板行业的平均节拍时间可短至2.5s，在高线速要求下，单枚产品（按100Mb数据量）的算法检测时间需控制在1.5s以内，这时，传统算法通常较深度学习算法有速度优势。另一方面，对传统算法较难实现的分类以及复杂场景，深度学习算法更容易大显身手。

问：在“规划/决策”和“执行”层面，好的工业视觉组件应如何与工业制造的整体自动化系统交互？有哪些较难解决的产品和解决方案设计问题？

“规划/决策”层面与“执行”层面的交互，可直观理解为视觉系统与整机自动化系统的交互和握手，或者上位机软件与下位机板卡/PLC的交互和握手。从功能划分维度讲，视觉系统理论上只负责视觉相关的动作，PLC对机台所有的运动轴、电磁阀、传感器进行控制。

因此，在控制层面，相机/采集卡的初始化、光源的亮灭、光源亮度的调节、图像的存储和检测完全由视觉系统控制，产品的搬运/交接、各个轴的运动、气路的通断、气压/温度/安全光栅/扫码/急停复位启动按钮的控制完全由PLC控制。

在交互层面，图像采集和检测结果反馈需要上下位机的通讯交互。当PLC拿到扫码设备回传的产品ID后，会将该ID发送给上位机执行图像的命名和存储；当产品运动到预设的采图位置时，PLC会通知上位机可以采图并且等待上位机的采集完毕信号，之后再执行后续流程；在上位机完成图像检测后，会将该枚产品的OK/NG结果反馈给PLC，便于实现产品的分级和下料。

当设备中的视觉工位数量较多时，上下位机之间的交互包含各视觉工位上位机间的通讯以及各视觉工位与PLC的通讯交互，由于各视觉工位动作流程并行，且各工位的产品并不一致（同一时刻设备中可能存在多枚产品），因此交互方案会变得非常复杂。

问：创新奇智承接了很多工业视觉的典型项目。在这些项目中，你认为技术上最大的挑战是什么？

创新奇智在工业视觉项目中既提供核心软件和算法，也同时集成自研或外购的机台与设备。这个过程中，最大的挑战是机器视觉为主的软件算法团队，与光机电为主的自动化团队之间如何默契配合。例如，高精度的AOI自动光学检测需要完备的光学方案，需要稳定防震的机台，需要高重复定位精度的运动机构，需要上下游精确联动匹配产线节拍。软硬件必须协同一致，才能达到最优效果。

另一个技术挑战是快速应对待检测/测量产品的上新。工业行业产品种类多样，产品迭代速度快。以电子制造行业为例，机种的切换需要调节产品载台、调节搬运机构真空吸嘴位置、调节相机工作距离/镜头对焦/光源位置、调节采图位置、调节探针下压位置、切换软件模板、调节检测参数、优化算法模型、调节放料位置等几十项操作。每次切换，机器视觉模型以及整体方案中的定制部分都必须快速适应新场景。