在制造業(yè)中，檢測(cè)是必不可少的功能。視覺(jué)檢測(cè)可確保產(chǎn)品符合其預(yù)期的功能和外觀，并為制造商和客戶帶來(lái)重要利益。最明顯的是，檢測(cè)結(jié)果能夠提供質(zhì)量保證，可以通過(guò)產(chǎn)品標(biāo)注或標(biāo)簽直接傳達(dá)給客戶，或者在制造工廠內(nèi)記錄，并作為其質(zhì)量控制過(guò)程的一部分。如果產(chǎn)品從現(xiàn)場(chǎng)退回，檢測(cè)報(bào)告還可以幫助進(jìn)行故障排除，并可以幫助制造商處理任何索賠。

 

此外，在生產(chǎn)過(guò)程中識(shí)別出所有不合格物品可以幫助確定是否需要調(diào)整制造工藝或程序，檢測(cè)結(jié)果可以幫助確定故障原因，例如，電子產(chǎn)品表面貼裝機(jī)中的噴嘴堵塞，瓶裝設(shè)備故障或標(biāo)簽機(jī)械未對(duì)準(zhǔn)等等。實(shí)時(shí)識(shí)別缺陷可以做到立即停止生產(chǎn)，從而馬上解決問(wèn)題。越早發(fā)現(xiàn)質(zhì)量問(wèn)題，解決問(wèn)題的成本就越低。業(yè)界經(jīng)常引用一個(gè)“十倍規(guī)則”：產(chǎn)品開(kāi)發(fā)階段發(fā)現(xiàn)錯(cuò)誤的成本比生產(chǎn)階段低十倍，依次而行，生產(chǎn)階段的錯(cuò)誤成本比現(xiàn)場(chǎng)應(yīng)用也低十倍。

 

從人工檢測(cè)到AOI

 

通常對(duì)生產(chǎn)的每個(gè)產(chǎn)品都需要進(jìn)行檢測(cè)。經(jīng)過(guò)訓(xùn)練的操作員可以人工進(jìn)行檢測(cè)，尤其是在處理簡(jiǎn)單產(chǎn)品或作為整體外觀最終檢測(cè)時(shí)更是如此。印刷電路板組件（PCBA）等一些應(yīng)用可能需要放大設(shè)備，最小的功能尺寸（例如高密度IC互連和焊接在電路板上的01005大小SMD芯片）（見(jiàn)圖1），都對(duì)檢測(cè)人員的視覺(jué)敏感度（visual acuity）提出很大挑戰(zhàn)。

但是，隨著產(chǎn)品復(fù)雜性的提高，一些典型組件可能包含大量此類器件。檢測(cè)員在進(jìn)行檢測(cè)并記錄結(jié)果時(shí)，必須要克服視覺(jué)和節(jié)拍時(shí)間的雙重挑戰(zhàn)，可能導(dǎo)致人工檢測(cè)不切實(shí)際。在某些情況下，例如高速灌裝工藝，可能根本無(wú)法進(jìn)行人工檢測(cè)。

 

隨著特征尺寸、復(fù)雜性和吞吐量方面的挑戰(zhàn)越來(lái)越嚴(yán)峻，自動(dòng)光學(xué)檢測(cè)（AOI）成為確保對(duì)每個(gè)項(xiàng)目進(jìn)行充分檢測(cè)的唯一實(shí)用方法。

 

AOI包括圖像傳感，照明和計(jì)算子系統(tǒng)，它們協(xié)同工作以便捕獲和分析圖像。AOI系統(tǒng)可以將捕獲的圖像與參考圖像進(jìn)行比較，之后得以能夠識(shí)別材料表面的缺陷、焊接缺陷或PCBA上元件缺失或放錯(cuò)位置等缺陷?；蛘撸谀承┮?guī)則的系統(tǒng)會(huì)測(cè)量特征尺寸（例如組件本身或每個(gè)接頭中焊料量），以確定“良好”（G）或“不良”（NG）狀態(tài)。如果檢測(cè)到缺陷，則機(jī)器設(shè)備可以隔離有缺陷物品，然后繼續(xù)進(jìn)行后續(xù)檢測(cè)，或者暫停并警告操作員。

 

盡管AOI在復(fù)雜性、吞吐量存在，或兩者兼而有之的情況下已經(jīng)超過(guò)了人工檢測(cè)，但是傳統(tǒng)的圖像處理系統(tǒng)和算法仍存在一些缺點(diǎn)，這些缺點(diǎn)在系統(tǒng)和軟件開(kāi)發(fā)以及在工廠車間進(jìn)行設(shè)備安裝時(shí)非常明顯。

 

從傳統(tǒng)圖像處理到AI

 

圖像識(shí)別的基本原理是將每個(gè)捕獲的圖像數(shù)字化，并應(yīng)用各種濾鏡來(lái)檢測(cè)圖案和特征。邊緣檢測(cè)濾鏡通常用于檢測(cè)圖像中的對(duì)象。能夠識(shí)別人類的算法可以應(yīng)用坡度斜率檢測(cè)（slope detection）來(lái)識(shí)別手臂、肩膀，、腿部等特征，該算法還需要檢測(cè)這些被檢測(cè)特征相對(duì)于彼此的方向，作為進(jìn)一步的界定標(biāo)準(zhǔn)。

 

檢測(cè)焊點(diǎn)的算法可以采用邊緣檢測(cè)和顏色檢測(cè)來(lái)識(shí)別焊點(diǎn)，并檢測(cè)焊點(diǎn)表面（fillet）的坡度是否在可接受范圍內(nèi)。光學(xué)系統(tǒng)可以使用不同顏色從不同角度照亮待測(cè)單元。如果焊點(diǎn)表面的斜率正確，則可能會(huì)反射出更大比例的綠色波長(zhǎng)。如果有更多的紅色波長(zhǎng)或整個(gè)表面上呈現(xiàn)不斷變化的顏色組合，則表示有較淺焊點(diǎn)表面，表明焊料量或焊球形成不足，表明在焊接過(guò)程中沾錫較差。

 

無(wú)論是在安全監(jiān)控或汽車行人檢測(cè)等應(yīng)用中的人員識(shí)別，在社交媒體應(yīng)用中的面部識(shí)別，還是在工業(yè)檢測(cè)中進(jìn)行缺陷檢測(cè)等所有應(yīng)用，傳統(tǒng)的圖像識(shí)別都面臨著眾多挑戰(zhàn)。

 

定義規(guī)則并創(chuàng)建算法以檢測(cè)和分類數(shù)字圖像中的對(duì)象非常復(fù)雜。在工業(yè)檢測(cè)中，開(kāi)發(fā)可靠的算法既昂貴又費(fèi)時(shí)。在檢測(cè)PCB組件時(shí)，焊點(diǎn)的質(zhì)量只是要檢測(cè)的一個(gè)標(biāo)準(zhǔn)，還必須驗(yàn)證每個(gè)組件的存在，以及相對(duì)于阻焊層的（solder mask）位置和方向、組件的共面性以及不需要的物體（例如焊料飛濺在電路板表面上）的存在。為所有情況和所有例外創(chuàng)建規(guī)則幾乎是不可能的。

 

微調(diào)算法和添加更多算法以覆蓋其他更多情況，這是一項(xiàng)永無(wú)止境的任務(wù)，需要不斷更新軟件。每當(dāng)行業(yè)中使用新產(chǎn)品（例如高級(jí)電子組件封裝）時(shí)，都必須開(kāi)發(fā)新算法以對(duì)其進(jìn)行檢測(cè)。

 

人工智能（AI）可以在一定程度上模仿人類將學(xué)到的經(jīng)驗(yàn)應(yīng)用到圖像識(shí)別，從而能夠應(yīng)對(duì)無(wú)限變化帶來(lái)的挑戰(zhàn)。在AI總體概念下涵蓋的各種計(jì)算結(jié)構(gòu)中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）通常用于圖像識(shí)別。這些包括相互連接的人工神經(jīng)元，并排列成層（見(jiàn)圖2）。它們通常是深度神經(jīng)網(wǎng)絡(luò)，在輸入和輸出層之間包含多個(gè)內(nèi)部或隱藏層。隱藏層對(duì)從前一層接收到的數(shù)據(jù)執(zhí)行特定、嚴(yán)格定義的采樣（pooling）和卷積計(jì)算。結(jié)果被發(fā)送到下一層，最終到達(dá)輸出層，可表明是否已識(shí)別出所尋找的對(duì)象。

 

圖2：CNN層。

 

在部署CNN之前，需要對(duì)其進(jìn)行訓(xùn)練以識(shí)別特定對(duì)象。在此過(guò)程中，通過(guò)每個(gè)答案的正確或不正確來(lái)調(diào)整每個(gè)神經(jīng)元在生成該答案中的重要性或權(quán)重，經(jīng)過(guò)多次迭代，CNN可以識(shí)別出具有較高正確性的圖像。在這一點(diǎn)上，可以認(rèn)為它是經(jīng)過(guò)訓(xùn)練，而冗余神經(jīng)元可以刪除，然后準(zhǔn)備將神經(jīng)網(wǎng)絡(luò)部署為推理引擎，這或許是在云端實(shí)現(xiàn)，或許是在嵌入式計(jì)算平臺(tái)上實(shí)現(xiàn)。

 

將兩個(gè)領(lǐng)域融合在一起

 

AI可以為AOI設(shè)備的供應(yīng)商和用戶帶來(lái)巨大優(yōu)勢(shì)。從供應(yīng)商的角度來(lái)看，如果AI可以判斷看到特定對(duì)象的幾率，則可以簡(jiǎn)化算法開(kāi)發(fā)。通過(guò)減少定義每個(gè)對(duì)象和相應(yīng)可接受標(biāo)準(zhǔn)的工作量，有助于縮短新設(shè)備的上市時(shí)間，并減少持續(xù)的軟件支持成本。對(duì)于用戶而言，通過(guò)AI實(shí)現(xiàn)的增強(qiáng)型AOI可以簡(jiǎn)化檢測(cè)系統(tǒng)設(shè)置、編程和微調(diào)“良好” /“不良”警報(bào)的閾值。

AI現(xiàn)在正在進(jìn)入AOI設(shè)備市場(chǎng)。一個(gè)范例是AAEON與AOI供應(yīng)商合作伙伴共同創(chuàng)建，用于AI推理的嵌入式工業(yè)機(jī)器視覺(jué)計(jì)算平臺(tái)和多處理器擴(kuò)展卡。該平臺(tái)可使AOI用于檢測(cè)多個(gè)產(chǎn)品線，而無(wú)需重新配置。與傳統(tǒng)系統(tǒng)相比，它具有更高的準(zhǔn)確性和更少的誤報(bào)，還可以快速接受培訓(xùn)以檢測(cè)新產(chǎn)品或識(shí)別以前未知的缺陷。

 

另一個(gè)范例是用于PCB組件檢測(cè)的MEK（Marantz）ISO-Spector M1A。該系統(tǒng)基于AI，可學(xué)習(xí)組裝和回流PCB的生產(chǎn)過(guò)程值，并基于數(shù)百個(gè)預(yù)設(shè)參數(shù)來(lái)識(shí)別缺陷。通過(guò)處理一些典型的挑戰(zhàn)，例如確定最佳光照水平，攝像頭位置，每個(gè)視圖的攝像頭設(shè)置以幫助缺陷檢測(cè)，以及調(diào)整檢測(cè)閾值以確保捕獲缺陷單元而不會(huì)進(jìn)行過(guò)多的錯(cuò)誤NG，能夠減少編程中涉及的人為因素。 AI能夠比人類專家快得多地自動(dòng)調(diào)整多個(gè)參數(shù)，并以顯著降低的錯(cuò)誤風(fēng)險(xiǎn)來(lái)做出決策，無(wú)論AOI系統(tǒng)是由初學(xué)者還是由專家進(jìn)行編程，都可以實(shí)現(xiàn)一致的檢測(cè)結(jié)果。

 

中國(guó)制造商VCTA亦將AI添加到了其用于PCB制造的AOI系統(tǒng)中，從而可提供更強(qiáng)的操作能力：降低了廢品率，提高了產(chǎn)能和質(zhì)量。

 

AOI系統(tǒng)架構(gòu)

 

此類系統(tǒng)的特性凸顯了AI可為包括安全和零售在內(nèi)許多領(lǐng)域的檢測(cè)應(yīng)用所帶來(lái)的優(yōu)勢(shì)。在需要搜索圖像以檢測(cè)對(duì)象和特征或識(shí)別個(gè)人等特征的應(yīng)用場(chǎng)景，AI可以簡(jiǎn)化設(shè)置和編程，消除人為錯(cuò)誤，最小化延遲并能夠支持更好的決策。

 

為了幫助開(kāi)發(fā)人員充分利用該技術(shù)，攝像頭模塊現(xiàn)已進(jìn)入市場(chǎng)，并具備軟件支持以簡(jiǎn)化AI開(kāi)發(fā)，這其中的范例包括Basler AI視覺(jué)方案套件（Vision Solution Kit）。該套件（見(jiàn)圖3）可與1300萬(wàn)像素Basler dart（飛鏢)攝像頭和用于配置和操作相機(jī)的pylon攝像頭軟件套件一起使用。 Basler云端可提供用于對(duì)象檢測(cè)和人員識(shí)別，且經(jīng)過(guò)預(yù)先訓(xùn)練的機(jī)器學(xué)習(xí)模型，可在套件上進(jìn)行部署。開(kāi)發(fā)人員還可以自由地將自己的模型用于任何應(yīng)用。

 

圖3：Basler AI視覺(jué)解決方案套件。

 

Intel RealSense D400立體視覺(jué)深度相機(jī)系統(tǒng)集成了RealSense D4視覺(jué)處理器、一個(gè)立體深度模塊、一個(gè)具有彩色圖像信號(hào)處理功能的RGB傳感器和慣性測(cè)量單元，可滿足諸如機(jī)器人視覺(jué)、無(wú)人機(jī)、虛擬現(xiàn)實(shí)和家庭安全等應(yīng)用的要求。深度模塊將左右成像器與可選紅外投影儀結(jié)合在一起，此紅外投影儀可投射不可見(jiàn)的靜態(tài)紅外圖案，以提高低紋理應(yīng)用中的景深精度。

 

RealSense深度攝像頭在與TensorFlow或OCV等機(jī)器學(xué)習(xí)平臺(tái)一起使用時(shí)，可為對(duì)象檢測(cè)和分類等應(yīng)用帶來(lái)更多價(jià)值。攝像頭模塊的單像素深度信息有助于解決其他挑戰(zhàn)，例如估算視野中物體的尺寸?？赏ㄟ^(guò)Intel RealSense網(wǎng)站的鏈接獲得相關(guān)指導(dǎo)教程和示例代碼，其中給出了如何達(dá)到此目的。

 

結(jié)論

生產(chǎn)線上的AOI能夠以和生產(chǎn)線匹配的速度運(yùn)行，并且已經(jīng)在支持各行各業(yè)的制造商提高質(zhì)量保證，保證生產(chǎn)率，并不斷改進(jìn)生產(chǎn)流程。在AI基礎(chǔ)上的進(jìn)一步提升是AOI的未來(lái)發(fā)展方向，為光學(xué)檢測(cè)應(yīng)用而訓(xùn)練的算法能夠帶來(lái)提高決策能力的額外好處，可減少操作員的參與，簡(jiǎn)化編程，并可提供更強(qiáng)大的性能，從而能夠提高缺陷檢測(cè)的確定性，同時(shí)減少誤報(bào)。

開(kāi)發(fā)人員和創(chuàng)客可以開(kāi)始探索如何使用來(lái)自領(lǐng)先制造商，并由貿(mào)澤電子提供的AI攝像頭套件來(lái)加強(qiáng)各種機(jī)器視覺(jué)應(yīng)用。

(來(lái)源：Mark Patrick，貿(mào)澤電子)