赛事一览
工业品表面缺陷检测技术
  • 报名开始时间 2022-08-06
  • 报名结束时间 2022-10-07
  • 总奖金池 ¥1000000

一:项目概况

1、大赛介绍:

  • 数字经济时代,算法作为一种战略性科技要素已成为推进数字技术与实体经济深度融合的核心支撑。为发挥国家实验室作用,推动粤港澳大湾区大数据与人工智能算法生态体系建设,琶洲实验室(黄埔)受广州市黄埔区政府委托,自2022起创办《粤港澳大湾区(黄埔)国际算法算例大赛》(以下简称“大赛”),旨在打造大湾区首个以算法为主题的国际型竞赛,以此推动原始创新, 并带动数字经济的高质量发展。

  • 大赛以当前数字技术发展趋势和现实应用需求为牵引,面向全国遴选优质算法、汇聚全球高精尖技术、招揽国际算法高端人才。大赛坚持以科学性、引领性、实用性为原则,聚焦大数据、人工智能、物联网、云计算、元宇宙等新一代数字技术和互联网+、智能+等数字经济场景。 大赛采取每年聚焦不同主题的方式开展。首届算法大赛聚焦后深度学习时代AI 基础算法和智慧城市、智能制造等领域内的行业算法场景。

  •  

2、大赛赛程安排:

2022年7月20日-11月15日

  • 07月20日:开启预报名

  • 08月06日10:00:正式开启报名,初赛数据集发布

  • 08月06日-09月14日:下载数据集,线下开发

  • 09月15日10:00:初赛验证集发布,开始提交验证集测试结果文件在【初赛A榜】

  • 10月07日10:00:大赛截止报名

  • 10月07日12:00:【初赛A榜】截止提交结果

  • 10月08日10:00-10月12日12:00:前20名的参赛队伍到【初赛B榜】提交源码相关文件

  • 10月12日-10月21日:成绩复核

  • 10月22日:公布入围决赛名单

  • 11月1日10:00——1月7日18:00:决赛A榜开放,公布测试集A标签,选手下载训练,至【决赛榜】提交代码(包括训练好的模型和测试代码)

  • 11月7日18:00——11月9日18:00:决赛B榜开放,选手提交评测文件

  • 11月10日-11月15日:评测组进行评测

  • 11月17日:公布决赛名单

 

3、大赛参赛人员

大赛面向全社会开放,个人、高等院校、科研单位、企业、创客团队等人员均可报名参赛;

每位选手仅能加入一支参赛队伍,每只队伍组队上限5人。

注:(1)大赛组织机构单位中除了擂台赛,涉及题目编写、数据接触的人员禁止参赛;

     (2)主办方和竞赛制赛道出题方可参赛,不参与排名。

 

“关于组队”

您需要以团队为单位来参与竞赛,即便您是单人参赛也需要创建一支队伍。

组队详情:点击https://www.cvmart.net/document


 

4、报名须知:

1)在琶洲实验室(黄埔)官方活动页面进行报名参赛,后登录平台进行下载数据集,线下开发后提交CSV预测结果文件;

2)确保报名信息真实有效,一经发现,将取消参赛资格及激励;

3)参赛必读手册:https://www.cvmart.net/community/detail/6631

4)直播回放链接:https://www.bilibili.com/video/BV15W4y1B7Wb/

5)大赛官方微信群,扫码加入社群,及时获取大赛信息

 

二、赛制设置

1、竞赛制赛道介绍

竞赛赛道瞄准行业领域发展的共性关键技术,聚焦智慧城市、智慧健康、智能制造、智慧金融等行业领域,开发优质算法,以人工智能技术作为推动力,实现革命性的产业创新。竞赛制赛道将由各领域的国内头部企业针对其发展的行业共性的“卡脖子”难题定义赛题任务,并提供真实场景数据,面向全球汇聚大数据与人工智能高精尖技术,招揽全球人工智能算法高端人才。

 

2、赛题介绍

本竞赛以“铝基片表面缺陷检测”为课题,要求选手开发出高效可靠的计算机视觉算法,提升铝基片表面瑕疵质检的效果和效率,降低对大量人工的依赖。要求算法尽可能快与准确地给出铝基片缺陷具体的位置和类别,主要考察缺陷的定位和分类能力。

 

3、赛题比赛规则

大赛分为初赛和决赛两个比赛环节。

 

- 线上初赛

初赛时间:2022年8月6日-10月7日

初赛形式:

初赛分为A、B榜。

【初赛A榜】

选手通过赛题主-数据集,下载竞赛训练数据集,基于竞赛数据集在本地进行算法训练开发;本地开发完成后,选手将验证集上的预测结果写入txt文件打包成zip包,然后上传提交至平台;

【初赛B榜】

【初赛A榜】前20名队伍将Docker文件以及模型参数上传云盘链接,将链接写进txt文件中并打包成zip包提交,由主办方进行评测并公布B榜排位结果。确保无违规作弊行为后前15名进入决赛,若发现有队伍存在违规作弊行为,决赛名额依照综合性能指标顺延。

  • 评测使用服务器:3080的显卡,如果显存超多单卡,code需要支持多卡训练的功能。

 

- 线上决赛 

决赛时间:2022年11月1日-11月15日

决赛形式

【决赛A榜】

决赛阶段将公布初赛测试集的标签数据。参赛队伍可自行组合使用训练集和初赛测试集的数据进行算法开发。决赛参赛队伍提交用于测试的源码相关文件,上传至云盘链接,将链接写进txt文件中并打包成zip包提交。由主办方进行评测并实时公布得分排位结果。为方便评测,参赛选手应尽量提交最简化版的测试源码文件。

【决赛B榜】

根据评测结果排名前8名参赛者在【决赛B榜】提交所有的源码相关文件(形式同初赛),无违规作弊行为后取成绩排名8进入答辩环节。

 

(注:源码相关文件提交格式说明--对于环境配置,各位选手需要提交requirements.txt(pip list)和Dockerfile。对于模型训练,命令行格式为:‘python train.py --train_data ./xxx --model_path ./xxx’。对于模型测试,命令行格式为:‘python test.py --test_data ./xxx --model_path ./xxx --save_path ./xxx’)

 

- 答辩环节:

评测委员会将根据参赛者的技术思路和决赛性能指标、算法运行速度进行综合评分,评选出最终获奖队伍。

 

4、注意事项

  • 本竞赛仅可使用比赛主办方提供的数据、公开数据集(指在2022年7月20日前已经公开,且所有人均可获取的数据集)、合成数据(不可使用非公开数据集进行数据合成;若使用合成数据,需提交文档说明清楚数据合成方法),不得使用私有数据进行训练或数据合成。各参赛队伍必须在提交文档中说明清楚使用的其它公开数据集的来源、规模及下载地址。

  • 初赛完毕后即决出最终入围决赛排名。排名前15的队伍进入决赛。

  • 初赛前20名及决赛前8名的队伍,需要向主办方提供完整的训练与测试代码、模型参数以及详细的训练流程说明(包括GPU设置,数据使用情况、模型情况、训练参数设置、训练流程等,打包成docker)进行官方复现与测试,并能在合理的时间内完成复现。在主办方进行代码测试和复现过程中,相关的队伍有义务配合主办方进行代码复现(包括合成数据的复现)。无法提供代码进行测试及复现的队伍、或不配合进行代码测试及复现的队伍,将被取消获奖资格。

  • 若发现有队伍存在违规作弊行为,决赛名额以及最终排名依照综合性能指标顺延

违规作弊行为包括但不限于:

  • 模型代码与文档描述不符

  • 提交代码无法复现出评测结果

  • 利用测试集训练模型

  • 违规使用私有数据集进行训练

  • 违规使用私有数据集进行数据合成

  • 其它存在违反本次比赛规则的行为


一、背景及意义

  • 面向现代工业信息化需求,我国提出了“中国制造2025”强国战略,其核心方向是智能制造。然而,在制造产品的过程中,表面缺陷的产生往往是不可避免的。表面缺陷不仅影响产品的美观和舒适度,而且一般也会对其使用性能带来不良影响。为此,企业对产品的表面缺陷检测极其重视,以便有效控制产品质量,并根据检测结果分析生产工艺中存在的某些问题,从而杜绝或减少缺陷品的产生,同时防止潜在的贸易纠份,维护企业荣誉。

  • 磁头是硬盘的核心部件之一,磁头生产分为晶圆(wafer)、滑块(slider)、磁头悬架组件(HGA)和磁头臂组件(HSA)等四个环节。铝基片作为磁头的重要原材料,其质检环节仍大量依赖人工完成,且长时间在高光下观察铝基片表面寻找瑕疵。这样导致质检效率低下、质检质量层次不齐且成本居高不下。铝基片表面质检是行业生产和质量管理的重要环节,也是困扰行业多年的技术瓶颈。

  • 当前铝基片表面自动质检通常采用基于机器视觉的缺陷检测方案。实际生产过程中成像环境复杂、光照干扰强而目标信号弱。传统相机采用CCD或CMOS传感器无法满足当下的缺陷智能质检需求。如图1所示(传统相机拍的缺陷图,瑕疵从明显到弱小):1)当铝基片表面缺陷显著时,传统相机能有效捕捉,如图1-(a)所示;2)随着铝基片表面缺陷变的弱小,传统相机捕捉缺陷能力越发不足,如图1-(b)所示,点痕隐约可见;3)当铝基片表面缺陷进一步变的弱小时,如图1-(c)所示,对于0.5um以下的划痕,传统相机无法捕捉到该弱小缺陷。

                                                   图1 传统相机拍摄的缺陷图

  • 仿生差分成像技术基于能量差分进行成像,具有大动态范围、少数据冗余等特性,在铝基片等工业品表面缺陷检测任务中具有独特的优势。如图2所示,展示了图1中的缺陷铝基片在仿生差分成像技术下的成像效果。对于显著缺陷和弱小缺陷,仿生差分相机都能进行有效成像。尤其在一些具有挑战性的场景下,如图2-(c)所示,传统相机已无法捕捉到铝基片表面微小的划痕,但是仿生差分相机依然能够有效捕获该弱小缺陷。然而,这种新型仿生成像手段的信号格式与传统图像不同,亟需开发专用的视觉信号处理算法,以促进仿生成像技术在工业智能质检领域的应用,推动“中国制造2025”的发展。

                                    图2 可视化处理后得到的仿生差分相机拍摄的缺陷图

二、赛题描述

大赛深入到企业,在产线上架设专业拍摄设备,实地采集生产过程真实数据,解决企业真实的痛点需求。大赛数据覆盖到了生产中常见瑕疵,包括划痕,点,污渍三种缺陷类型。

事件信号介绍

区别于传统相机按照固定的曝光时间进行全局成像,仿生差分相机只对动态变化的场景内容作出响应,其每个像素独立异步工作:当一个像素上的光强发生变化且达到阈值,则该像素产生一个事件信号。仿生差分相机没有帧的概念,输出是一段异步稀疏的事件流。以本比赛提供的信号为例,一个事件信号e用一个四元数组(x,y,event_g,t)表示:e=(x,y,event_g,t)。其中,(x,y)表示触发事件的像素的空间坐标;event_g表示事件绝对灰度值;t表示该事件发生的时间戳。

 

三、算法输入输出需求     

本题要求参赛者利用事件信号实现铝基片表面缺陷检测识别的任务目标。

  • 输入:事件流序列。本次比赛中,每段事件流对应一张铝基片。

  • 输出:铝基片表面的缺陷检测情况。每段事件流预测输出一个txt文件,txt文件名称与事件流文件名称相同。例如,某段事件流样本为“001.h5”,则其对应的预测结果txt文件为:“001.txt”。预测结果txt文件中,每一个缺陷预测占用一行。每一行缺陷标注按如下方式表示:‘c,x,y,w,h,s’(英文逗号)。其中,‘c,x,y,w,h’的含义与训练集标注方式一致,s表示预测框的置信度(confidence)。如果判断为无瑕疵,则txt文档仅输出以下字符:‘Perfect’。线上提交结果过程中,将所有预测输出的txt文件,直接全选压缩为一个zip文件,进行上传。

 

四、数据集说明     

本次比赛共提供200段以h5格式保存的事件流数据,既包含缺陷样本数据也包含无缺陷样本数据。其中,训练集(TrainSet)120,测试集A(TestA)30段,测试集B(TestB)50段。每段事件流持续时间约为7~11秒。

  • 训练集:共有120段h5数据及对应的120个txt标注文档。每个h5文件包含了4个keys:event_g,t,x,y。此数据集中,x表示横坐标(范围:0 ~ 1279),y为纵坐标(范围:0 ~ 799),event_g表示事件的绝对灰度值(范围:0 ~ 4095),t为时间戳。每个缺陷样本的txt标注文件包含一个或多个缺陷标注,每一个缺陷标注占用一行。每一行缺陷标注按如下方式表示:‘c,x,y,w,h’。c表示缺陷种类,包含点、划痕、污渍三类,标签与缺陷类型对应关系为:{1:点痕,2:划痕,3:污渍};x、y代表坐标信息(以铝基片圆心为原点的平面坐标系),表示缺陷检测框中心与铝基片圆心的相对位置关系(单位为像素),如下图3;w、h代表检测框的宽、高(单位为像素)。每个无缺陷样本的txt标注文件内容为:‘Perfect’。

图3

  • 测试集A共有30段h5文件,文件格式和训练集一致。

  • 测试集B共有50段h5文件,文件格式和训练集一致。

比赛提供的事件数据和标签数据,文件夹结构如下:

|-- TrainSet #存放训练集数据

      |-- Data#存放数据

      |-- Labels #存放标签

|-- TestASet #存放测试集A数据

      |-- Data#存放数据,用于初赛验证集

      |-- Labels #存放标签,决赛阶段公布

|-- TestBSet #存放测试集B数据

      |-- Data#存放数据,用于决赛验证集

      |-- Labels #存放标签,不提供

 

五、提交结果

【初赛A榜】

提交格式:验证集txt文件的zip格式压缩包,压缩包内为30个txt文件,无多余层级文件夹,并且文件命名保持一致,例:001.h5对应001.txt

提交次数:每天1次

开始提交时间:9月15日

【初赛B榜】

提交格式:云盘链接zip包
提交内容:提交源码相关文件,上传至云盘链接,将链接写进txt文件中并打包成zip包提交。
提交次数:1次

初赛审核群:截止提交后排行榜前20名扫码添加极市小助手极小新企业微信进入初赛审核群

【决赛A榜】

提交格式:云盘链接zip包
提交内容:
提交测试源码相关文件,上传至云盘链接,将链接写进txt文件中并打包成zip包提交。
提交次数:
1次

【决赛B榜】:同【初赛B榜】

 

注:参赛队伍需按照指引写好前向推理代码,包括数据输入接口与模型输出接口。

(源码相关文件提交格式说明--对于环境配置,各位选手需要提交requirements.txt(pip list)和Dockerfile。对于模型训练,命令行格式为:‘python train.py --train_data ./xxx --model_path ./xxx’。对于模型测试,命令行格式为:‘python test.py --test_data ./xxx --model_path ./xxx --save_path ./xxx’)

 

六、评测标准

  • 算法得分计算方式:Score=0.2*ACC+0.8*mAP

  • ACC:对样本数据进行缺陷分类的准确率。本竞赛中,样本可分为五种类型:点痕、划痕、污渍、无缺陷和多种缺陷。其中,若样本预测结果中包含多种缺陷类型,则该样本属于“多种缺陷”类型。

  • mAP:参照PASCALVOC的评估标准计算瑕疵的mAP值。

  • 参考链接:https://github.com/rafaelpadilla/Object-Detection-Metrics。具体逻辑见evaluator文件。

  • 需要指出,本次大赛评分计算过程中,分别在检测框和真实框的交并比(IOU)在阈值0.4,0.5,0.6下计算mAP,最终mAP取三个值的平均值。

  • 在测试集上的得分越高,排名越靠前。