AI在工業(yè)檢測中的應(yīng)用與發(fā)展，也對機(jī)器視覺行業(yè)產(chǎn)生重大影響

在過去幾年中，人工智能技術(shù)的蓬勃發(fā)展影響和改造了很多行業(yè)，也對機(jī)器視覺行業(yè)產(chǎn)生了重大影響。人工智能技術(shù)在圖像識別、特征提取和分類、缺陷檢測等方面具有巨大優(yōu)勢，為工業(yè)缺陷檢測提供了新的解決方案。有了人工智能的加持，機(jī)器視覺在對智能制造的自動化水平提升過程中能夠發(fā)揮更多的作用。

人工智能技術(shù)首先改變了視覺檢測系統(tǒng)的開發(fā)方式。傳統(tǒng)的視覺開發(fā)方式，是以有經(jīng)驗(yàn)的算法工程師為主，針對每個具體場景，分析工件圖像，根據(jù)主要特征和經(jīng)驗(yàn)來確定算法思路，調(diào)用專用的圖像處理庫，完成主要的圖像檢測算法?；谏疃葘W(xué)習(xí)的開發(fā)方式則完全不同，把以有經(jīng)驗(yàn)的人為中心的開發(fā)方式，變成了流程化的操作步驟。前者以人為主，針對每一個場景需要有針對性的分析和設(shè)計(jì)，對人的要求較高；后者是統(tǒng)一的流程化操作，不同的應(yīng)用場景，操作流程和步驟都是一樣的，這就大大降低了對人員的要求，降低了視覺開發(fā)的門檻，提高了視覺系統(tǒng)的開發(fā)效率，使其能夠覆蓋更多的場景和應(yīng)用。

基于人工智能的視覺系統(tǒng)開發(fā)流程主要包括以下步驟：

1、采集圖像。好的成像質(zhì)量，是視覺檢測系統(tǒng)成功的前提，這條傳統(tǒng)算法的要求，在今天的人工智能時代仍然適用。如何利用相機(jī)、光源及合理的打光方式，采集到高成像質(zhì)量的圖像，使被檢測對象對人眼清晰可見，這仍是我們首先要重視和保證的，這是機(jī)器視覺部件的核心目標(biāo)，也是光學(xué)系統(tǒng)的基礎(chǔ)，這些經(jīng)驗(yàn)知識，今天仍然重要。

2、標(biāo)注。標(biāo)注是人工智能新增的要求，傳統(tǒng)算法沒有它。目前的人工智能在工業(yè)場景上的應(yīng)用，主要還是基于遷移學(xué)習(xí)，預(yù)訓(xùn)練模型需要針對碎片化、細(xì)分的工業(yè)應(yīng)用場景做適配，那么就要求用戶告訴AI你要檢測的目標(biāo)是什么，這是通過標(biāo)注來完成的。你的標(biāo)注，就是AI的學(xué)習(xí)目標(biāo)。因此，標(biāo)注質(zhì)量會嚴(yán)重的影響AI學(xué)習(xí)和檢測的效果。標(biāo)注的越準(zhǔn)確，在學(xué)習(xí)充分的情況下，才有可能得到類似的檢測結(jié)果。好的標(biāo)注數(shù)據(jù)集，是AI視覺檢測系統(tǒng)成功的前提。

3、訓(xùn)練。訓(xùn)練是深度卷積網(wǎng)絡(luò)對標(biāo)注數(shù)據(jù)集進(jìn)行學(xué)習(xí)，自主提取樣本圖像中的多種維度特征信息，綜合得到圖像的內(nèi)在規(guī)律和多層次表示，以獲取分析預(yù)測能力，然后對驗(yàn)證集數(shù)據(jù)做出預(yù)測，根據(jù)預(yù)測偏差反饋修正卷積網(wǎng)絡(luò)的參數(shù)和特征權(quán)重，以使預(yù)測結(jié)果不斷逼近標(biāo)注信息（這也是為什么標(biāo)注質(zhì)量嚴(yán)重影響檢測質(zhì)量的原因），從而實(shí)現(xiàn)檢測任務(wù)。精度和誤差是訓(xùn)練過程中的兩個重要指標(biāo)，視覺檢測系統(tǒng)中的兩個關(guān)鍵指標(biāo)：誤檢率和漏檢率，和它們息息相關(guān)。

訓(xùn)練停止后，可得到模型在驗(yàn)證集上的驗(yàn)證結(jié)果，如誤檢率和漏檢率等。若指標(biāo)尚未達(dá)到檢測指標(biāo)要求，則需分析可能影響檢測精度的因素，比如：數(shù)據(jù)標(biāo)注質(zhì)量（是否標(biāo)全、標(biāo)對、標(biāo)準(zhǔn)確），樣本數(shù)量是否足夠、是否均衡，訓(xùn)練集與測試集數(shù)據(jù)分布是否一致，訓(xùn)練迭代次數(shù)，深度學(xué)習(xí)訓(xùn)練超參設(shè)置以及模型選擇等，可在修正這些因素之后，更新訓(xùn)練以得到更好的結(jié)果；若指標(biāo)符合檢測需求，則可進(jìn)入下一環(huán)節(jié)。

訓(xùn)練結(jié)束后，也可進(jìn)一步在測試集上測試模型的表現(xiàn)，便于快速評估技術(shù)可行性。這也是基于人工智能檢測算法的優(yōu)勢之一，對于常見的檢測任務(wù)，通過標(biāo)準(zhǔn)化的流程，可以在短時間內(nèi)（幾小時~幾天）完成技術(shù)可行性評估。

4、部署。把訓(xùn)練好的模型部署到現(xiàn)場進(jìn)行在線檢測，目前基于AI的檢測速度已經(jīng)和傳統(tǒng)算法檢測速度相當(dāng)，如果同時處理多個相機(jī)的數(shù)據(jù)或多幅圖像，利用GPU的并行計(jì)算和網(wǎng)絡(luò)模型的批量推理，檢測速度可能更快。

上線之后，隨著檢測的進(jìn)行，會得到各類別大量的圖像。在線檢測過程中若出現(xiàn)誤檢、漏檢情況，或者出現(xiàn)新的類別的曲線，可利用積攢的數(shù)據(jù)集對現(xiàn)有模型進(jìn)行更新訓(xùn)練，提高檢測精度。視覺系統(tǒng)長期運(yùn)行后，隨著震動、灰塵、光源老化等因素會導(dǎo)致成像質(zhì)量發(fā)生降低，進(jìn)而影響檢測精度，利用積攢的大量的數(shù)據(jù)集對現(xiàn)有模型進(jìn)行更新訓(xùn)練，甚至?xí)岣邫z測系統(tǒng)的精度，讓視覺檢測系統(tǒng)越用越準(zhǔn)，這也是基于人工智能的視覺檢測系統(tǒng)超越傳統(tǒng)視覺檢測系統(tǒng)的一個特點(diǎn)。

人工智能對視覺系統(tǒng)開發(fā)的影響，不僅體現(xiàn)在流程上，更重要的是功能和性能。人工智能強(qiáng)大的學(xué)習(xí)能力和綜合歸納能力，大大拓展和豐富了機(jī)器視覺的應(yīng)用場景。目前，人工智能在機(jī)器視覺的主要應(yīng)用有：

1、分類。圖像分類是深度學(xué)習(xí)的典型應(yīng)用，是人工智能重新崛起的代表應(yīng)用，在某些方面，甚至超過了人類的水平。比如，由于農(nóng)產(chǎn)品個體間存在天然的差異，使得農(nóng)產(chǎn)品的檢測、分級、采摘等應(yīng)用的自動化水平一直不高。人工智能強(qiáng)大的分類能力，使視覺不僅能用于工業(yè)產(chǎn)品的合格性檢查和分級應(yīng)用中，也已經(jīng)成功應(yīng)用于農(nóng)產(chǎn)品的質(zhì)檢、分級應(yīng)用中。

2、目標(biāo)檢測。目標(biāo)檢測是機(jī)器視覺的成熟應(yīng)用，在人工智能爆火之前，基于模板匹配的定位技術(shù)已經(jīng)廣泛應(yīng)用，人工智能基于大數(shù)據(jù)的學(xué)習(xí)能力和強(qiáng)大的參數(shù)調(diào)節(jié)能力，使其更能兼容各種變化因素，如：紋理、材質(zhì)、顏色、形狀、位置、方向、視角、光照、亮暗、位姿、變形、涂污、遮擋、縮放、濃淡、模糊、噪聲、扭曲等，拓展了目標(biāo)檢測應(yīng)用的范圍。

3、分割。實(shí)際應(yīng)用中，往往需要得到缺陷的位置、面積、長寬等參數(shù)，以做后續(xù)處理。傳統(tǒng)的缺陷分割算法多基于灰度、對比度、輪廓，提取這些特征需要長時間的參數(shù)調(diào)節(jié)且魯棒性不高，直接的后果就是現(xiàn)場調(diào)試周期過長，人工智能可通過更新訓(xùn)練模型減少現(xiàn)場調(diào)試周期。

4、字符檢測與識別。與目標(biāo)檢測類似，字符檢測與識別也是久已有之。但深度學(xué)習(xí)使中文字符檢測與識別、手寫體等非標(biāo)準(zhǔn)字體識別的準(zhǔn)確度提升了不止一個臺階。目前，基于深度學(xué)習(xí)的字符檢測與識別精度已完全超過傳統(tǒng)算法，成為此類應(yīng)用的首選。

5、無監(jiān)督學(xué)習(xí)。深度學(xué)習(xí)，首先需要有大量的缺陷樣本進(jìn)行學(xué)習(xí)。而在工業(yè)制造領(lǐng)域，隨著生產(chǎn)工藝和自動化生產(chǎn)水平的提升（這里面也有機(jī)器視覺的重要貢獻(xiàn)），產(chǎn)品的良率不斷提升，99.%甚至99.9%，在短時間內(nèi)獲取到足夠的缺陷樣本往往比較困難，尤其當(dāng)存在多種缺陷類別時。這就給人工智能的落地造成了困難。基于此，提出了無監(jiān)督學(xué)習(xí)。與人工檢測類似，人可以通過觀察合格產(chǎn)品后，就可以檢測缺陷產(chǎn)品。無監(jiān)督學(xué)習(xí)只學(xué)習(xí)合格產(chǎn)品圖像（這很容易獲得），提取合格產(chǎn)品圖像的內(nèi)在規(guī)律和多層次特征表示；檢測時，提取檢測圖像的特征，與合格產(chǎn)品的特征進(jìn)行比對，不一致的地方就是異常，由此完成檢測。無監(jiān)督學(xué)習(xí)，既降低了對缺陷樣本的要求，又省去了標(biāo)注工作量，與此同時，工業(yè)制品的一致性又非常高，是工業(yè)AI的新興方向之一。

時至今日，人工智能在工業(yè)領(lǐng)域已經(jīng)不是“行不行、能不能落地”的問題，而是已經(jīng)在多個場景下落地實(shí)用，并取得成功。如今面臨的問題是，針對工業(yè)場景中的應(yīng)用特點(diǎn)，如何對已有的人工智能算法進(jìn)行改進(jìn)和發(fā)展，使其更好的為工業(yè)缺陷檢測服務(wù)。經(jīng)過這幾年的應(yīng)用和實(shí)踐，人工智能和深度學(xué)習(xí)技術(shù)在工業(yè)缺陷檢測中仍然存在一些技術(shù)挑戰(zhàn)，需要通過不斷地研究和探索來解決。主要包括以下幾個方面：

1、數(shù)據(jù)采集和標(biāo)注困難。工業(yè)缺陷檢測數(shù)據(jù)的采集和標(biāo)注需要大量的人力和時間，而且數(shù)據(jù)質(zhì)量對模型的性能影響很大。有些缺陷面積小、數(shù)量多、種類雜，全部標(biāo)全工作量大，不標(biāo)或漏標(biāo)則會影響學(xué)習(xí)效果。因此，如何有效地采集和標(biāo)注工業(yè)缺陷檢測數(shù)據(jù)是一個非常關(guān)鍵的問題。

2、訓(xùn)練樣本的不平衡問題。有的工業(yè)制品表面形態(tài)多變，缺陷種類繁多，不同種類缺陷的數(shù)量差別很大，導(dǎo)致訓(xùn)練樣本的不平衡，這會影響模型的分類精度和魯棒性。除了通過設(shè)置不同類別權(quán)重和數(shù)據(jù)增廣等手段外，通過AIGC人工智能來自動生成缺陷樣本以輔助訓(xùn)練也是一個重要的研究方向。

3、計(jì)算量。近年來，隨著相機(jī)硬件的快速發(fā)展，相機(jī)的分辨率大幅提升，千萬像素以上的相機(jī)應(yīng)用非常普遍，與此同時精密制造水平的提升也對產(chǎn)品品質(zhì)檢測提出了更高的要求，因此工業(yè)應(yīng)用場景普通存在“圖像分辨率大、缺陷比較小”的情況，高分辨率圖像帶來的運(yùn)算量幾何倍數(shù)的增加會導(dǎo)致計(jì)算復(fù)雜度非常高，對網(wǎng)絡(luò)學(xué)習(xí)以及訓(xùn)練和推理使用的顯卡性能都提出了挑戰(zhàn)，進(jìn)而造成了訓(xùn)練效率的降低和成本的增加。因此，如何優(yōu)化算法和提高計(jì)算效率也是一個重要的研究方向。

4、漏檢率與誤檢率問題。這兩個指標(biāo)是視覺檢測系統(tǒng)的核心指標(biāo)，對應(yīng)著人工智能算法的召回率和準(zhǔn)確率，而后者在網(wǎng)絡(luò)學(xué)習(xí)過程中是等價存在的，但實(shí)際應(yīng)用場景對二者的要求卻不盡相同。由于圖像數(shù)據(jù)的復(fù)雜性和噪聲的存在，工業(yè)缺陷檢測中仍然存在一定的漏檢和誤檢問題。而質(zhì)檢環(huán)節(jié)對漏檢率要求是第一位的，不能讓缺陷產(chǎn)品流通到下一環(huán)節(jié)，造成進(jìn)一步的損失；在保證漏檢率達(dá)標(biāo)的條件下，再降低誤檢率，甚至可能允許存在一定量的誤檢率。實(shí)際場景的特殊要求，勢必要求人工智能算法在學(xué)習(xí)指標(biāo)上有所區(qū)分，做出調(diào)整。

5、未知類別問題。人工智能僅能學(xué)習(xí)、識別訓(xùn)練樣本中存在的類別，而在實(shí)際檢測過程中，可能會出現(xiàn)新的類別，如新出現(xiàn)的缺陷，或者混入新的產(chǎn)品或異常情況，對于突發(fā)情況，人工智能算法只能從原有類別中找出它認(rèn)為最“相近”的一個類別作為答案，但這種“相近”和人眼所觀測的“相似”可能大相徑庭。因此，如果讓人工智能算法“知之為知之，不知為不知“，僅輸出靠譜的結(jié)果，以保證系統(tǒng)的可靠性，也是一個需要研究的問題。

6、 理解模型的限制。人工智能模型目前仍是黑盒，模型學(xué)到的知識并不為人所知，模型做出判斷的依據(jù)我們也不僅所知，而這又直接影響檢測系統(tǒng)的安全性、可靠性和穩(wěn)定性。如何提高人工智能算法的可解釋性，分析圖像中對結(jié)果影響比較大的區(qū)域，鑒定其對不同特征的相關(guān)程度，增加模型的可視化和透明化，進(jìn)而理解模型的限制，從而實(shí)現(xiàn)更準(zhǔn)確、更穩(wěn)定、更可靠的工業(yè)缺陷檢測成為目前研究者的探索方向。

7、邊緣計(jì)算。在實(shí)際場景中使用人工智能算法進(jìn)行缺陷檢測還需要考慮算法依賴的計(jì)算資源、設(shè)備成本等問題。這對于工業(yè)企業(yè)而言，也需要考慮成本收益比等實(shí)際問題。工業(yè)場景的高生產(chǎn)節(jié)拍、低延遲、高響應(yīng)的特點(diǎn)決定了最適合使用邊緣計(jì)算。如何提高邊緣計(jì)算的速度，降低成本是主要核心訴求。檢測速度要求越高，計(jì)算量越大，硬件要求越高，成本越高。這需要具體情況具體分析，如果首要指標(biāo)是檢測速度，那么應(yīng)使用高性能顯卡進(jìn)行并行加速，可同時推理多張圖片來提速；如首先考慮成本，那么可使用CPU進(jìn)行計(jì)算，目前人工智能推理已可在CPU上推理并實(shí)現(xiàn)加速，同時也可利用多線程進(jìn)行加速；另外，智能相機(jī)也是一個不錯的推理終端選擇。

8、數(shù)據(jù)安全與知識產(chǎn)權(quán)。數(shù)據(jù)隱私和信息安全問題也是目前工業(yè)領(lǐng)域需要面對的挑戰(zhàn)，在數(shù)據(jù)獲取和使用過程中，需要保證數(shù)據(jù)的安全性和保密性，并且在使用過程中也要遵守相關(guān)的數(shù)據(jù)隱私保護(hù)法規(guī)。如何保護(hù)用戶現(xiàn)場的數(shù)據(jù)，如何保護(hù)訓(xùn)練出的模型，保護(hù)各方在人工智能方面的投入，處理好開源和商業(yè)使用以及知識產(chǎn)權(quán)之間的關(guān)系，避免產(chǎn)品走向國際舞臺時可能面臨的糾紛，也值得參與各方認(rèn)真研究。

9、工業(yè)大模型。人工智能在最近又有爆發(fā)式的突破，大模型的威力已暫露頭角，在很多領(lǐng)域展現(xiàn)出令人驚艷的表現(xiàn)。碎片化、細(xì)分的工業(yè)應(yīng)用場景未來會不會被大模型占領(lǐng)，能不能基于大量的工業(yè)場景數(shù)據(jù)訓(xùn)練一個統(tǒng)一的工業(yè)大模型，是一個激動人心的研究方向。

人工智能技術(shù)在工業(yè)缺陷檢測領(lǐng)域的應(yīng)用前景廣闊，它已經(jīng)改變了機(jī)器視覺，未來還將發(fā)揮更大的作用。期待人工智能技術(shù)在工業(yè)缺陷檢測中的自主學(xué)習(xí)和優(yōu)化能力得到進(jìn)一步的提高，通過不斷地學(xué)習(xí)和適應(yīng)，可以對缺陷進(jìn)行更加準(zhǔn)確的識別和判斷，并根據(jù)實(shí)時數(shù)據(jù)和反饋不斷優(yōu)化和調(diào)整算法，在實(shí)踐中不斷提高缺陷檢測的準(zhǔn)確率和效率，實(shí)現(xiàn)更加準(zhǔn)確、高效、智能的機(jī)器視覺和工業(yè)缺陷檢測模式，使人工智能技術(shù)在工業(yè)缺陷檢測中得到更為廣泛的應(yīng)用，使得工業(yè)產(chǎn)品的質(zhì)量得到進(jìn)一步的提升和保障，從而提高工業(yè)生產(chǎn)的效率和成本效益，助力工業(yè)制造行業(yè)更好地服務(wù)社會和經(jīng)濟(jì)的發(fā)展。