May 15,2019

基于视觉智能工业品外观柔性检测方案

引言/导读
随着工业制造2025计划的实施,工业品质量检测效率成为制约整个生产链条的重要因素。传统工业品产品外观检测,依赖“人眼+简单工具”,实现对产品外观的识别,剔除外观有缺陷的产品,效率低下,漏检率高。随时AI技术快速发展,本测试床探索将视觉智能检测技术应用于工业品外观检测。
 

一、关键词
视觉智能,边缘计算,薄膜类外观质量检测

二、发起公司和主要联系人联系方式
华为技术有限公司 IT产品线 ,联系人李超洋 13571870047 Email:Andy.lee@huawei.com
富士康科技集团,联系人 郑承斌:15989547752  Email:benjamincheng@foxconn.com


三、合作公司
深圳云天励飞技术有限公司,联系人董卿  13714505207, Email:dong.qing@intellif.com
软通动力,联系人 崔士勇13911161706,Email:sycuic@isoftstone.com
Intel公司,联系人 张宇 13501081206, Email:richard.yu.zhang@itel.com
 

四、测试床项目目标和概述
所谓“机器视觉”,就是利用机器代替人眼来做测量和判断。机器视觉系统相当于人类的眼睛,“眼睛”通过把“看”到的影像传送到控制芯片,然后通过控制程序来进行事态的判断。一个典型的机器视觉系统包括:光源、镜头、相机、图像处理单元(或图像捕获卡)、图像处理软件、监视器、通讯/输入输出单元等.通过机器视觉获得的图像,经过AI智能算法的自动检测,识别,最终完成“人的眼睛和大脑”的功能,在实际工业质量检测中,达到代替现有人力,提高检测效率、提升检测准确率。

现工业产品检测,经过很多年发展,但现有自动检测的存在如下问题:
•       可检测产品单一,不通用:设备高度专业化,只能在特定场景,对特定产品,特定的外观问题进行检测。例如,环境条件固定,只能检测外观尺寸,只能检测玻璃制品等。
•       检测精度低:检测精度是固定的,不能实现“经验积累”:随着检测产品的增多,不断提高检测准确率。
•       检测效率低:受检测设备算力的影响(一般都基于工控机),在检测效率较低,滞后日益进步的生产效率。
       本测试床引入AI技术,充分利用边缘计算的业务灵活性和业务实时性,并在公有云实现AI算法的训练,充分利用公有云资源弹性调度、价格低廉的优势,以降低该方案的总体投入,以期达到可以规模复制的目标。

 主要功能模块说明:
1、  采集端:利用光电技术,获取工业品外观高质量图片。工业品,特别是薄膜类产品,具有容易弯曲、对光照敏感等特点,需要采用暗箱、强光等以达到高质量图像标准;
2、  边缘计算节点:边缘计算是工业检测的大脑,通过AI算法对产品外观图片进行智能分析和识别,并自动对有缺陷产品进行标记;边缘计算节点要求算力强、设备体积小、可以安装在工厂质检室或者生产线附近;
3、  云端训练:AI的训练周期长,需要资源多,具有阶段性;因此采用租赁公有云方式较为合适;可以根据训练数据的大小、训练算法的复杂度,灵活租赁对应资源,训练完毕,获取模型后,即可释放训练资源,以期达到节省成本的目标。
 

五、测试床解决方案架构
本测试床在传统产品检测基础上,引入现在AI技术,依靠边缘云和公有云联动,工厂侧线下推理和识别,公有云线上训练,构成一个完整的测试方案。

(一)    测试床应用场景
本测试床项目,适用于外观类产品质量检测,例如车辆框架、主承外观,对部分容易产生变形的产品,如非刚性产品,例如纸张等,需要采用额外的辅助方法,获得相对稳定的图像质量。因此,本测试床推荐应用在刚性产品外观检测,或者部分形变较小的产品外观检测场景。

(二)    测试床重点技术
本测试床为提高检测的鲁棒性,引入了三项关键新技术,该技术在工业外观检测中比较新颖和独创性。

一、采用边缘计算新技术。边缘计算融合了计算、存储和网络于一体,具有很高的产品环境适应度。本测试床边缘采用引入深度学习AI技术,在边缘侧实现AI的推理,实现对产品检测的自动化和智能化。边缘智能计算的应用在业内属于首次。

二、引入AI技术。AI技术最大的价值是具有自动学习和进化功能,对检测产品具有很强的鲁棒性;而强的鲁棒性,对本测试床的检测范围具有很大的价值。这点是传统影像技术无法比拟的。

三、是引入公有云训练AI。AI的训练耗资巨大,对专业性要求很高,普通企业很难承受。通过引入公有云AI服务,可以把算法的训练和模型设计交给专业的服务公司实现,通过租赁资源方式,完成云端的训练;以降低AI的成本,获取便捷的服务。

(三)    技术创新性及先进性
本测试采用的边缘智能计算架构,为提升识别率引入的AI技术,都是在前工业检测中首次应用,并根据工业现场进行了技术专门开发,具有独特的价值。

(四)    测试床解决方案架构
本测试床解决方案整体架构如下,主要分为4个层面:


1、  边缘计算平台:主要在工厂侧进行产品外观产品的识别和处理;是AI算法的主要承载体;
2、  IaaS层:通过引入虚拟化和Docker技术,逻辑隔离各类业务应用,使应用具有更大的弹性,也更方便与工业云平台对接;
3、  工业PaaS层:对边缘前端和各类数据进行清理和管理的平台,通过PaaS层,企业IT人员关注业务,把复杂的IT基础设施的管理交给PaaS层;
4、  视觉业务应用层:深度学习的算法好服务。业务作为一个服务,提供给企业内部各个业务单元使用。


六、预期成果
本测试床预期目标为:产品检测率达到100%;完全代替人工检测和识别部分,达到节省人力的目标。并通过技术创新,可应用在更多场景检测,如各类薄膜,产品外观等,柔性外观检测。

(一)    测试床的预期测试结果,针对测试项
本测试床预期检测结果:产品检测率达到100%,通过多种检测技术的结合和运用,使产品检测率达到100%,超越人工检测的精度。

(二)    商业价值
本测试床通过引入边缘计算和AI技术,将AI应用引入到工厂侧,AI训练算法采用成本低廉的公有云;通过对传统工业的智能化改造,开创新的商业共赢模式,对在其他类似领域有非常好的启发作用。

(三)    经济效益
本测试床根据富士康CPU贴膜检测项目,商业价值估算如下:原人工检测:20万+/年,通过本测试床方案一次性设备投资10万,云服务按需付费,节省50%的检测投资;提升产品检测效率和正确率,节省产品缺陷类引起的负资产。

(四)    社会价值
减少由于人工检测引发的眼睛疲劳职业病,解放员工“眼睛”,减少和预防职业病;
 

七、测试床技术可行性
本测试床重点测试一下技术可行性:
1、工厂产品外观图像检测和采集的可行性:采集端要求对光源、产品略微形变鲁棒,采集图像设备能排除产线其他因素干扰等;
2、AI算法的精度。AI算法精度直接影响到检测的精度,需要实际验证算法的精度和识别速度。

(一)    物理平台
物理平台包括前端产品图像的采集端和边缘计算平台两个部分。
产品图集采集端:包括高速工业摄像机、专业光源、暗盒,运动轨道等辅助设备;
边缘平台:包括边缘硬件平台(含存储、网络设备),部分车间网络环境较差,需要提供4G等WIFI传输方式;其他连接线等辅助设备。

(二)    软件平台
        本测试床不单独提供软件平台;其中AI算法包括在边缘平台中;


八、和AII技术的关系
(一)   与AII总体架构的关系


(二)   AII安全(可选)


(三)   详细清单(可选)
            略

(四)   风险模型(可选)
测试床平台中运算处理器采用嵌入式SoC,运行基于Linux操作系统的专用嵌入式软件,保证了软件系统的可靠性和安全性。系统采用分级用户权限管理,数据和视频存储采用嵌入数据库、数据加密和数据水印技术保证数据安全不可篡改

(五)   安全联系人
         不涉及

(六)   与已存在AII测试床的关系
无,首次申请。


九、交付件
实验测试床一套:包括前端采集设备,边缘计算平台,以及内嵌的AI算法软件。

十、测试床使用者
相关单位可利用本测试床搭建或者改进,鼓励在各个领域进行推广和使用

十一、     知识产权说明
本测试床相关部件的产权归属各个申请企业,测试床方案和架构完全公开,鼓励企业据此架构开展各领域应用。
 

十二、     部署,操作和访问使用
可部署在互联网,根据申请,明确使用权限。
 

十三、     资金
企业自筹资金
序号 工作内容 需要资金(万)
1 前端采集设备(光源、相机等) 5
2 边缘智能节点 15
3 公有云平台 5
4 算法联调 8
合计   33
 
 
十四、     时间轴
本测试床关键时间点:
2018年8月30日完成方案的工程效果测试;
2018年10月30日项目验收和推广


十五、     附加信息
本测试床可以应用在以下领域:如工业PCB板质量检测,如线路漏焊,虚焊,线路断裂等;汽车钣金等外观质量检测,如检测是否有划痕,光滑度,完整度等。

声明

本报告所载的材料和信息,包括但不限于文本、图片、数据、观点、建议,不构成法律建议,也不应替代律师意见。本报告所有材料或内容的知识产权归工业互联网产业联盟所有(注明是引自其他方的内容除外),并受法律保护。如需转载,需联系本联盟并获得授权许可。未经授权许可,任何人不得将报告的全部或部分内容以发布、转载、汇编、转让、出售等方式使用,不得将报告的全部或部分内容通过网络方式传播,不得在任何公开场合使用报告内相关描述及相关数据图表。违反上述声明者,本联盟将追究其相关法律责任。

工业互联网产业联盟
联系电话:010-62305887
邮箱:aii@caict.ac.cn
访问人数:2888