本發(fā)明涉及太陽(yáng)能網(wǎng)版的工業(yè)化生產(chǎn)的，具體涉及一種基于重建和記憶融合的輕量化無(wú)監(jiān)督缺陷檢測(cè)方法。

背景技術(shù)：

1、在太陽(yáng)能網(wǎng)版的工業(yè)化生產(chǎn)過(guò)程中，環(huán)境污染、設(shè)備狀況、制造技術(shù)、工藝參數(shù)以及人為操作等因素均可能導(dǎo)致缺陷的產(chǎn)生。盡管太陽(yáng)能網(wǎng)版缺陷檢測(cè)算法能夠?qū)崿F(xiàn)對(duì)缺陷的精確識(shí)別與定位，但面對(duì)種類(lèi)繁多且良品率很高的太陽(yáng)能網(wǎng)版產(chǎn)品，快速上線檢測(cè)的需求顯得尤為迫切。有監(jiān)督學(xué)習(xí)方法依賴大量標(biāo)注的缺陷數(shù)據(jù)集作為訓(xùn)練樣本，全面收集所有類(lèi)型的缺陷樣本變得極其困難，并且標(biāo)注過(guò)程需要高昂的人工成本，還可能引入主觀偏見(jiàn)。

2、無(wú)監(jiān)督異常檢測(cè)方法主要分為基于重建和基于特征分析兩類(lèi)?；谥亟ǖ姆椒ㄍㄟ^(guò)重建圖像與輸入圖像的差異檢測(cè)缺陷，但易丟失細(xì)粒度紋路信息，導(dǎo)致誤判?；谔卣鞣治龅姆椒ㄒ蕾囶A(yù)訓(xùn)練模型提取特征，但工業(yè)圖像與自然圖像特征分布差異會(huì)影響檢測(cè)效果，且計(jì)算復(fù)雜度高。

3、針對(duì)現(xiàn)有方法的不足，需要一種基于重建和記憶融合的輕量化無(wú)監(jiān)督缺陷檢測(cè)方法來(lái)解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中的技術(shù)問(wèn)題和缺點(diǎn)，本發(fā)明創(chuàng)造提供一種基于重建和記憶融合的輕量化無(wú)監(jiān)督缺陷檢測(cè)方法，該方法通過(guò)設(shè)計(jì)多視角下采樣模塊，有效保留關(guān)鍵特征，從而提升對(duì)細(xì)粒度信息的提取能力。進(jìn)一步，通過(guò)構(gòu)建超輕量化的編碼器-解碼器架構(gòu)進(jìn)行重建訓(xùn)練，開(kāi)發(fā)出專為網(wǎng)版工業(yè)場(chǎng)景優(yōu)化的高效特征提取器。利用編碼器提取圖像特征并生成核心特征集合，在此基礎(chǔ)上，通過(guò)計(jì)算待檢測(cè)圖像特征與核心特征集合之間的異常分?jǐn)?shù)，實(shí)現(xiàn)對(duì)圖像正常性的精準(zhǔn)判定。

2、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明采用如下的技術(shù)方案：

3、一種基于重建和記憶融合的輕量化無(wú)監(jiān)督缺陷檢測(cè)方法，包括特征提取器訓(xùn)練模塊、記憶庫(kù)訓(xùn)練模塊和缺陷檢測(cè)模塊；

4、首先，采用變分自編碼器（variational?auto?encoder,vae）架構(gòu)對(duì)正常太陽(yáng)能網(wǎng)版樣本進(jìn)行訓(xùn)練，其中特征提取器基于超輕量化的lite?star主干網(wǎng)絡(luò)設(shè)計(jì)，重建網(wǎng)絡(luò)則通過(guò)逆卷積層實(shí)現(xiàn)，最終訓(xùn)練得到一個(gè)專用于太陽(yáng)能網(wǎng)版背景的特征提取器；

5、隨后，在patchcore算法基礎(chǔ)上，利用該特征提取器對(duì)訓(xùn)練集中的正樣本進(jìn)行特征提取，并通過(guò)k中心點(diǎn)貪心算法（k-center-greedy）構(gòu)建特征記憶庫(kù)；

6、在缺陷檢測(cè)階段，待檢測(cè)圖像首先通過(guò)特征提取器獲取其特征表示，隨后計(jì)算其與記憶庫(kù)中正常樣本特征的最近鄰距離，并將最大最近鄰距離作為異常分?jǐn)?shù)；

7、最終，通過(guò)預(yù)設(shè)閾值判定圖像是否包含缺陷。

8、優(yōu)選的，還包括設(shè)置基于maxpool與conv融合的多視角下采樣模塊（multi-viewdownsampling,?mvd），在mvd模塊中，

9、當(dāng)輸入通道維度與輸出通道維度相等時(shí)，模塊首先將輸入特征圖（）沿通道維度進(jìn)行切分，并將切分后的特征分別送入3×3窗口的最大池化和卷積操作中；隨后，將處理后的特征圖在通道維度上進(jìn)行拼接，以融合多視角的特征信息；

10、當(dāng)需要進(jìn)行通道擴(kuò)增時(shí)，模塊直接將輸入特征圖送入3×3窗口的最大池化和卷積操作中，并通過(guò)concat操作將輸出通道維度擴(kuò)展為輸入的兩倍。

11、優(yōu)選的，包括采用star?block構(gòu)建了輕量化的編碼器結(jié)構(gòu)，star?block模型通過(guò)采用深度可分離卷積（depthwise?convolution,?dwconv）作為輸入特征的提取模塊；隨后，通過(guò)批歸一化（batch?normalization,?bn）對(duì)特征進(jìn)行標(biāo)準(zhǔn)化處理，模型使用卷積進(jìn)行通道升維操作，并選擇其中一路進(jìn)行relu6的非線性激活；接著，通過(guò)星型操作將兩路特征進(jìn)行融合，此后，依次經(jīng)過(guò)卷積和的dwconv實(shí)現(xiàn)特征降維與進(jìn)一步提取，最后與輸入特征的殘差連接。

12、優(yōu)選的，包括采用變分自編碼器訓(xùn)練一種專用的特征提取器，包含編碼器-解碼器結(jié)構(gòu)，同時(shí)引入了一個(gè)重采樣過(guò)程以實(shí)現(xiàn)潛在空間的概率建模：

13、對(duì)于給定的輸入數(shù)據(jù)，首先通過(guò)編碼器提取深層特征，隨后將該深層特征送入重采樣模塊中的兩個(gè)全連接層，分別輸出潛在空間的均值和方差，基于均值和方差，通過(guò)重采樣生成潛在空間，，是一個(gè)標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)噪聲，隨后，將重采樣的潛在表示輸入解碼器，生成重建數(shù)據(jù)。

14、優(yōu)選的，包括采用分階段策略構(gòu)建記憶庫(kù)的方法，首先從訓(xùn)練集中提取所有正常樣本的特征向量并存儲(chǔ)到初始記憶庫(kù)中，獲取一個(gè)緊湊且具有高度代表性的特征子集，來(lái)近似作為核心記憶庫(kù)，在每次迭代中，選擇與當(dāng)前核心集具有最大最小距離的樣本點(diǎn)并入核心記憶庫(kù)，直至達(dá)到預(yù)設(shè)的核心集容量閾值。

15、優(yōu)選的，在太陽(yáng)能網(wǎng)版缺陷檢測(cè)階段，采用多階段檢測(cè)框架：首先，通過(guò)vae自主訓(xùn)練的特征提取器從輸入圖像中提取多層次深度特征；隨后，基于構(gòu)建的記憶庫(kù)，采用k近鄰（k-nearest?neighbors,?k-nn）算法進(jìn)行異常檢測(cè)；

16、異常分?jǐn)?shù)的計(jì)算過(guò)程包括：針對(duì)每個(gè)提取的特征向量，計(jì)算其與記憶庫(kù)中所有特征向量的歐氏距離，并將最小距離值作為該特征的異常分?jǐn)?shù)；最終，將各特征異常分?jǐn)?shù)的最大值作為整幅圖像的異常評(píng)分；

17、對(duì)于像素級(jí)缺陷分割圖的生成，采用以下流程：首先，對(duì)每個(gè)特征塊計(jì)算其與記憶庫(kù)的最近鄰距離作為局部異常分?jǐn)?shù)；采用插值算法將特征圖上采樣至原始圖像尺寸，從而獲得全分辨率的異常分布圖。

18、優(yōu)選的，在模型推理階段，當(dāng)檢測(cè)環(huán)境切換到背景特征差異較大的全新場(chǎng)景時(shí)，首先，針對(duì)不同類(lèi)別的網(wǎng)版背景分別訓(xùn)練專用的異常檢測(cè)模型；其次，利用clip（contrastivelanguage-image?pretraining）模型的多模態(tài)編碼能力，將各類(lèi)網(wǎng)版圖像編碼為高維特征向量，并將圖像特征向量與對(duì)應(yīng)網(wǎng)版類(lèi)別標(biāo)簽存儲(chǔ)到milvus向量數(shù)據(jù)庫(kù)，使用hnsw（hierarchical?navigable?small?world）算法進(jìn)行搜索加速。

19、優(yōu)選的，在實(shí)際部署階段，系統(tǒng)通過(guò)以下流程實(shí)現(xiàn)模型的自適應(yīng)選擇：對(duì)生產(chǎn)線起始階段采集的圖像進(jìn)行clip特征提取，隨后在向量數(shù)據(jù)庫(kù)中，基于余弦相似度度量確定最優(yōu)匹配的網(wǎng)版類(lèi)別，最終自動(dòng)選擇對(duì)應(yīng)的異常檢測(cè)模型執(zhí)行缺陷識(shí)別任務(wù)。

20、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

21、1、本發(fā)明通過(guò)設(shè)計(jì)多視角下采樣模塊，有效保留關(guān)鍵特征，從而提升對(duì)細(xì)粒度信息的提取能力。進(jìn)一步，通過(guò)構(gòu)建超輕量化的編碼器-解碼器架構(gòu)進(jìn)行重建訓(xùn)練，開(kāi)發(fā)出專為網(wǎng)版工業(yè)場(chǎng)景優(yōu)化的高效特征提取器。利用編碼器提取圖像特征并生成核心特征集合，在此基礎(chǔ)上，通過(guò)計(jì)算待檢測(cè)圖像特征與核心特征集合之間的異常分?jǐn)?shù)，實(shí)現(xiàn)對(duì)圖像正常性的精準(zhǔn)判定。該方法在太陽(yáng)能網(wǎng)版缺陷數(shù)據(jù)集上展現(xiàn)出卓越的檢測(cè)精度與效率，充分驗(yàn)證了其在實(shí)際工業(yè)應(yīng)用中的有效性與魯棒性。

22、2、在普通圖像分類(lèi)網(wǎng)絡(luò)中，下采樣通常通過(guò)最大池化、平均池化或步長(zhǎng)為2的卷積操作實(shí)現(xiàn)，盡管這些方法在計(jì)算效率和局部信息整合方面表現(xiàn)優(yōu)異，但它們均存在視角單一的問(wèn)題，無(wú)法實(shí)現(xiàn)多角度特征融合，具體而言，maxpool操作會(huì)丟失次大特征信息，averagepool則弱化了顯著特征的重要性，而步長(zhǎng)為2的卷積操作在保留局部細(xì)粒度特征方面存在局限性，往往導(dǎo)致特征丟失或模糊，從而削弱特征提取器的整體性能，為解決上述問(wèn)題，采用一種基于maxpool與conv融合的多視角下采樣模塊（multi-view?downsampling,mvd），該模塊通過(guò)自適應(yīng)機(jī)制動(dòng)態(tài)選擇不同下采樣策略，并能夠保留關(guān)鍵特征以提升細(xì)粒度信息的提取能力。此外，模塊還引入了自主學(xué)習(xí)機(jī)制，通過(guò)對(duì)窗口內(nèi)所有特征信息進(jìn)行融合，生成更加全面的特征表示，這種設(shè)計(jì)在保證特征提取能力的同時(shí)，顯著優(yōu)化了計(jì)算資源的利用率。

23、3、為了進(jìn)一步提升模型的特征提取效率并減少參數(shù)量和計(jì)算復(fù)雜度，采用starblock構(gòu)建了一種輕量化的編碼器結(jié)構(gòu)（lite?star），這種設(shè)計(jì)在多種深度學(xué)習(xí)任務(wù)中均表現(xiàn)出顯著的高效性。與傳統(tǒng)的增加網(wǎng)絡(luò)寬度的方法相比，星型操作能夠?qū)崿F(xiàn)類(lèi)似于多項(xiàng)式核函數(shù)的非線性高維映射，從而在保持模型緊湊性的同時(shí)增強(qiáng)其表達(dá)能力。此外，隨著網(wǎng)絡(luò)深度的增加，每一層的隱含維度呈指數(shù)級(jí)增長(zhǎng)，這使得緊湊的特征空間具備了潛在的無(wú)限維度擴(kuò)展能力。這種特性不僅顯著提升了模型的表征能力，還進(jìn)一步優(yōu)化了計(jì)算效率，為復(fù)雜任務(wù)提供了更為高效的特征提取解決方案。

24、4、在傳統(tǒng)的特征提取方法中，通常依賴于在大型數(shù)據(jù)集（如imagenet）上預(yù)訓(xùn)練的特征提取器來(lái)獲取特征表示。然而工業(yè)領(lǐng)域圖像的特征分布與自然場(chǎng)景圖像存在顯著差異，這種領(lǐng)域偏差會(huì)直接影響特征提取的準(zhǔn)確性，從而降低缺陷檢測(cè)模型的性能。為了解決這一問(wèn)題，針對(duì)太陽(yáng)能網(wǎng)版表面紋理分布較為規(guī)則且無(wú)明顯突變的特性，采用變分自編碼器訓(xùn)練一種專用的特征提取器。該方法通過(guò)利用大量正常樣本進(jìn)行訓(xùn)練，能夠?qū)W習(xí)到適應(yīng)太陽(yáng)能網(wǎng)版特征分布的低維表示。

25、本技術(shù)其他附加的優(yōu)點(diǎn)和有益效果將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本技術(shù)的實(shí)踐了解到。