目前，基于機器視覺的表面缺陷裝備，已經(jīng)在各工業(yè)領(lǐng)域廣泛替代人工肉眼檢測，包括3C、汽車、家電、機械制造、半導體及電子、化工、醫(yī)藥、航空航天、輕工等行業(yè)。

傳統(tǒng)的基于機器 視覺的表面缺陷檢測方法，往往采用常規(guī)圖像處理 算法或人工設(shè)計特征加分類器方式。

一般來說，通常利用被檢表面或缺陷的不同性質(zhì)進行成像方案的設(shè)計，合理的成像方案有助于獲得光照均勻的圖像，并將物體表面缺陷明顯的體現(xiàn)出來。

近年來，不少基于深度學習的缺陷檢測方法也被廣泛應(yīng)用在各種工業(yè)場景中。

對比計算機視覺中明確的分類、檢測和分割任務(wù), 缺陷檢測的需求非?；\統(tǒng)，實際上, 其需求可以劃分為三個不同的層次: “缺陷是什么”（分類）、“缺陷在哪里”（定位）和“缺陷是多少”（分割）。

一、表面缺陷檢測關(guān)鍵問題

1、小樣本問題

目前深度學習方法廣泛應(yīng)用在各種計算機視覺 任務(wù)中, 表面缺陷檢測一般被看作是其在工業(yè)領(lǐng)域的具體應(yīng)用。在傳統(tǒng)的認識中, 深度學習方法無法直接應(yīng)用在表面缺陷檢測中的原因是因為在真實的 工業(yè)環(huán)境中, 所能提供的工業(yè)缺陷樣本太少。

相比于ImageNet數(shù)據(jù)集中1400多萬張樣本數(shù)據(jù), 表面缺陷檢測中面臨的最關(guān)鍵的問題是小樣本問題, 在很多真實的工業(yè)場景下甚至只有幾張或幾十張缺陷圖片。 實際上, 針對于工業(yè)表面缺陷檢測中關(guān)鍵問題之 一的小樣本問題, 目前有4種不同的解決方式:

1）數(shù)據(jù)擴增、生成

最常用的缺陷圖像擴 增方法是對原始缺陷樣本采用鏡像、旋轉(zhuǎn)、平移、扭曲、濾波、對比度調(diào)整等多種圖像處理操作來獲取 更多的樣本。另外一種較為 常見方法是數(shù)據(jù)合成, 常常將單獨缺陷融合疊加到 正常(無缺陷)樣本上構(gòu)成缺陷樣本。

2）網(wǎng)絡(luò)預訓練與遷移學習

一般來說,，采用小樣本來訓練深度學習網(wǎng)絡(luò)很容易導致過擬合, 因此 基于預訓練網(wǎng)絡(luò)或遷移學習的方法是目前針對樣 本中最常用的方法之一。

3）合理的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

通過設(shè)計合理的網(wǎng)絡(luò) 結(jié)構(gòu)也可以大大減少樣本的需求?；趬嚎s采樣定理來壓縮和擴充小樣本數(shù)據(jù), 使 用CNN直接對壓縮采樣的數(shù)據(jù)特征進行分類. 相比 于原始的圖像輸入, 通過對輸入進行壓縮采樣能大 大降低網(wǎng)絡(luò)對樣本的需求. 此外, 基于孿生網(wǎng)絡(luò)的表 面缺陷檢測方法也可以看作是一種特殊的網(wǎng)絡(luò)設(shè)計, 能夠大幅減少樣本需求。

4）無監(jiān)督或半監(jiān)督

在無監(jiān)督模型中, 只利用正 常樣本進行訓練, 因此不需要缺陷樣本. 半監(jiān)督方法 可以利用沒有標注的樣本來解決小樣本情況下的網(wǎng)絡(luò)訓練難題。

2、實時性問題

基于深度學習的缺陷檢測方法在工業(yè)應(yīng)用中包括三個主要環(huán)節(jié)： 數(shù)據(jù)標注、模型訓練與模型推斷. 在實際工業(yè)應(yīng)用中的實時性更關(guān)注模型推斷這一環(huán)節(jié)，目前大多數(shù)缺陷檢測方法都集中在分類或識別的準確性上, 而很少關(guān)注模型推斷的效率。

有不少方法用于加速模型, 例如模型權(quán)重量化和模型剪枝等。

二、工業(yè)表面缺陷檢測常用數(shù)據(jù)集

1）鋼材表面：NEU-CLS（可用于分類、定位任務(wù)）

由東北大學（NEU）發(fā)布的表面缺陷數(shù)據(jù)庫，收集了熱軋鋼帶的六種典型表面缺陷，即軋制氧化皮（RS），斑塊（Pa），開裂（Cr），點蝕表面（ PS），內(nèi)含物（In）和劃痕（Sc）。該數(shù)據(jù)庫包括1,800個灰度圖像：六種不同類型的典型表面缺陷，每一類缺陷包含300個樣本。對于缺陷檢測任務(wù)，數(shù)據(jù)集提供了注釋，指示每個圖像中缺陷的類別和位置。對于每個缺陷，黃色框是指示其位置的邊框，綠色標簽是類別分數(shù)。

2）太陽能板：

3）金屬表面：

• 在電子換向器中嵌入的塑料表面上觀察到了微小的碎裂或裂縫；
• 在八個不重疊的圖像中捕獲每個換向器的表面積；
• 在受控環(huán)境中捕獲圖像。

4）PCB板檢測：DeepPCB

圖1. PCB板檢測數(shù)據(jù)集

5）面料缺陷

該數(shù)據(jù)庫由七個不同織物結(jié)構(gòu)的245張4096 x 256像素圖像組成。數(shù)據(jù)庫中有140個無缺陷圖像，每種類型的織物20個，除此之外，有105幅紡織行業(yè)中常見的不同類型的織物缺陷（12種缺陷）圖像。圖像的大尺寸允許用戶使用不同的窗口尺寸，從而增加了樣本數(shù)量。Internet上的數(shù)據(jù)庫還包含所有具有缺陷的圖像的分割mask，使得白色像素表示缺陷區(qū)域，其余像素為黑色。

6）天池布匹缺陷數(shù)據(jù)

在布匹的實際生產(chǎn)過程中，由于各方面因素的影響，會產(chǎn)生污漬、破洞、毛粒等瑕疵，為保證產(chǎn)品質(zhì)量，需要對布匹進行瑕疵檢測。布匹疵點檢驗是紡織行業(yè)生產(chǎn)和質(zhì)量管理的重要環(huán)節(jié)，目前人工檢測易受主觀因素影響，缺乏一致性；并且檢測人員在強光下長時間工作對視力影響極大。由于布匹疵點種類繁多、形態(tài)變化多樣、觀察識別難道大，導致布匹疵點智能檢測是困擾行業(yè)多年的技術(shù)瓶頸。本數(shù)據(jù)涵蓋了紡織業(yè)中布匹的各類重要瑕疵，每張圖片含一個或多種瑕疵。數(shù)據(jù)包括包括素色布和花色布兩類，其中，素色布數(shù)據(jù)約8000張，用于初賽；花色布數(shù)據(jù)約12000張，用于復賽。

7）天池鋁型材表面瑕疵數(shù)據(jù)集

在鋁型材的實際生產(chǎn)過程中，由于各方面因素的影響，鋁型材表面會產(chǎn)生裂紋、起皮、劃傷等瑕疵，這些瑕疵會嚴重影響鋁型材的質(zhì)量。

為保證產(chǎn)品質(zhì)量，需要人工進行肉眼目測。然而，鋁型材的表面自身會含有紋路，與瑕疵的區(qū)分度不高。

傳統(tǒng)人工肉眼檢查十分費力，不能及時準確的判斷出表面瑕疵，質(zhì)檢的效率難以把控。

近年來，深度學習在圖像識別等領(lǐng)域取得了突飛猛進的成果。鋁型材制造商迫切希望采用最新的AI技術(shù)來革新現(xiàn)有質(zhì)檢流程，自動完成質(zhì)檢任務(wù)，減少漏檢發(fā)生率，提高產(chǎn)品的質(zhì)量，使鋁型材產(chǎn)品的生產(chǎn)管理者徹底擺脫了無法全面掌握產(chǎn)品表面質(zhì)量的狀態(tài)。

當然，深度學習技術(shù)還可以應(yīng)用到許許多多的行業(yè)產(chǎn)品里去，這里就不一一介紹了。

如果你的工業(yè)生產(chǎn)線中，可能用的到機器視覺或AI深度學習方面的技術(shù)來做質(zhì)量管控，那不妨和我們盈泰德科技聊聊，我們會先根據(jù)你的需求分析，從一個專業(yè)的角度免費來給你設(shè)計一個合適你的方案，然后聽取你的意見，再詳細洽談，最后即使沒能達成合作，我們也非常希望能多認識個朋友。