本發(fā)明涉及目標(biāo)檢測，更具體地說，它涉及一種基于雷達(dá)先驗引導(dǎo)的目標(biāo)檢測方法及系統(tǒng)。

背景技術(shù)：

1、隨著低空經(jīng)濟(jì)、城市空中交通（uam）和無人機(jī)物流的發(fā)展，低空空域中微小型無人機(jī)的大規(guī)模使用逐漸常態(tài)化。這類飛行器通常具有飛行高度低、速度快、目標(biāo)特征弱、雷達(dá)散射截面小等特點，傳統(tǒng)的單一感知系統(tǒng)（如僅依賴?yán)走_(dá)或光電）難以在復(fù)雜背景（如樹林、城市邊緣、建筑群、云層）下準(zhǔn)確檢測和跟蹤。為此，融合多源感知信息、采用智能檢測算法的聯(lián)合探測方法逐漸成為研究熱點。同時，隨著邊緣計算與輕量級網(wǎng)絡(luò)（如yolov7-tiny）的普及，越來越多的實戰(zhàn)部署系統(tǒng)希望在嵌入式平臺、無人機(jī)吊艙、車載等環(huán)境中部署實時、低功耗、可適應(yīng)復(fù)雜場景的目標(biāo)檢測算法，對檢測框架的精度、實時性、可集成性均提出了更高要求。

2、首先，現(xiàn)有雷達(dá)-光電聯(lián)動跟蹤系統(tǒng)，雖然能夠?qū)⒗走_(dá)輸出的方位、俯仰角和預(yù)測位置信息用作光電云臺的指向依據(jù)，但其對雷達(dá)測量本身固有的角度和位置不確定性（不確定性是指：雷達(dá)本身固有的角度和位置在這個雷光聯(lián)動系統(tǒng)中相對來說是最具有確定性的，換言之，雷達(dá)探測到目標(biāo)的經(jīng)緯度和距離是比較準(zhǔn)確的，但由于存在一定的誤差，因此角度和位置是存在不確定性的）并未加以建模，更未將不確定區(qū)域以可視化熱圖形式注入后續(xù)檢測網(wǎng)絡(luò)，只是簡單地以單點坐標(biāo)驅(qū)動光電轉(zhuǎn)臺并對獲得的圖像進(jìn)行目標(biāo)檢測。如此一來，當(dāng)雷達(dá)測角誤差較大或目標(biāo)處于復(fù)雜背景時，光電檢測仍可能因先驗不準(zhǔn)確導(dǎo)致搜索范圍過大或目標(biāo)脫靶，嚴(yán)重影響偽裝及小體積無人機(jī)的檢出效率和準(zhǔn)確率。

3、其次，當(dāng)前主流輕量化檢測工作（例如yolov7?tiny）雖實現(xiàn)了速度優(yōu)化，但在背景復(fù)雜或偽裝場景下特征表達(dá)不足?，F(xiàn)有技術(shù)基于yolov7-tiny網(wǎng)絡(luò)極小目標(biāo)漏檢嚴(yán)重，yolov7的改進(jìn)的很多，比如最新的技術(shù)在backbone中引入了c-elan和scfm等注意力增強(qiáng)模塊，以提升通道和空間特征表達(dá)，但其在detection?heads?端依然只保留了原有的?large/medium/small三個尺度分支，未針對超小尺度目標(biāo)做檢測。

4、最后，現(xiàn)有技術(shù)雖然通過差異特征生成、雙路特征相加融合等處理方式，將可見光圖像與紅外光圖像深度融合以改善弱光環(huán)境下的檢測效果，但其僅在同一檢測網(wǎng)絡(luò)前向傳播過程中完成一次特征融合和目標(biāo)分割，漏檢/誤檢的風(fēng)險較高。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于雷達(dá)先驗引導(dǎo)的目標(biāo)檢測方法及系統(tǒng)，解決了雷達(dá)-光電聯(lián)動跟蹤系統(tǒng)在檢測目標(biāo)時檢測效率不足的問題。

2、本發(fā)明的上述技術(shù)目的是通過以下技術(shù)方案得以實現(xiàn)的：

3、本發(fā)明的第一方面，提供了一種基于雷達(dá)先驗引導(dǎo)的目標(biāo)檢測方法，方法包括：

4、獲取待檢測的可見光增強(qiáng)圖像和紅外光增強(qiáng)圖像；其中，可見光增強(qiáng)圖像是由高斯熱圖與可見光圖像拼接得到，紅外光增強(qiáng)圖像是由高斯熱圖與紅外光圖像拼接得到；高斯熱圖是由雷達(dá)所探測目標(biāo)的空間坐標(biāo)生成的；

5、將待檢測的可見光增強(qiáng)圖像和紅外光增強(qiáng)圖像分別輸入至預(yù)先訓(xùn)練好的目標(biāo)檢測網(wǎng)絡(luò)中，得到可見光檢測結(jié)果以及紅外光檢測結(jié)果；

6、根據(jù)預(yù)先配置的動態(tài)置信度融合策略對可見光檢測結(jié)果和紅外光檢測結(jié)果進(jìn)行融合，得到目標(biāo)檢測結(jié)果。

7、在一種實現(xiàn)方案中，獲取待檢測的可見光增強(qiáng)圖像和紅外光增強(qiáng)圖像，包括：

8、獲取雷達(dá)所探測目標(biāo)的空間坐標(biāo)，并根據(jù)空間坐標(biāo)生成高斯熱圖；

9、獲取從空間坐標(biāo)的roi區(qū)域截取的可見光圖像和紅外光圖像；

10、將高斯熱圖分別與可見光圖像和紅外光圖像拼接，得到待檢測的可見光增強(qiáng)圖像和紅外光增強(qiáng)圖像。

11、在一種實現(xiàn)方案中，預(yù)先訓(xùn)練好的目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練過程包括：

12、構(gòu)建目標(biāo)檢測網(wǎng)絡(luò)；其中，目標(biāo)檢測網(wǎng)絡(luò)為在yolov7-tiny網(wǎng)絡(luò)的backbone網(wǎng)絡(luò)與neck網(wǎng)絡(luò)之間嵌入注意力模塊，在yolov7-tiny網(wǎng)絡(luò)的pan輸出連接一個小尺度目標(biāo)檢測頭；

13、利用標(biāo)注好的可見光增強(qiáng)圖像集和紅外光增強(qiáng)圖像集對目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在損失函數(shù)收斂或達(dá)到最大訓(xùn)練次數(shù)時，得到訓(xùn)練好的目標(biāo)檢測網(wǎng)絡(luò)。

14、在一種實現(xiàn)方案中，所述損失函數(shù)為二元交叉熵?fù)p失函數(shù)、多分類交叉熵?fù)p失函數(shù)、邊界框回歸損失函數(shù)和小尺度目標(biāo)檢測頭損失函數(shù)的加權(quán)求和函數(shù)。

15、在一種實現(xiàn)方案中，所述注意力模塊包括通道注意力模塊和空間注意力模塊，所述通道注意力模塊和空間注意力模塊串聯(lián)。

16、在一種實現(xiàn)方案中，所述動態(tài)置信度融合策略，包括：

17、若可見光檢測結(jié)果的置信度大于等于第一閾值，且紅外光檢測結(jié)果的置信度小于等于第二閾值，則可見光檢測的融合權(quán)重為1，紅外光檢測的的融合權(quán)重為0；

18、若可見光檢測結(jié)果的置信度小于等于第二閾值，且紅外光檢測結(jié)果的置信度大于等于第一閾值，則可見光檢測的融合權(quán)重為0，紅外光檢測的融合權(quán)重為1；

19、若可見光檢測結(jié)果的置信度大于等于第一閾值，且紅外光檢測結(jié)果的置信度大于等于第一閾值，則可見光檢測的融合權(quán)重為可見光檢測的置信度與總置信度的第一比值；紅外光檢測的融合權(quán)重為紅外光檢測的置信度與總置信度的第二比值；其中，總置信度為可見光檢測和紅外光檢測的置信度的求和；

20、若可見光檢測結(jié)果和紅外光檢測結(jié)果的置信度均大于第二閾值且小于第一閾值，則可見光檢測結(jié)果的融合權(quán)重為折扣因子與第一比值的乘積，紅外光檢測結(jié)果的融合權(quán)重為折扣因子與第二比值的乘積；以及

21、若可見光檢測結(jié)果和紅外光檢測結(jié)果的置信度均小于第二閾值，則可見光檢測的融合權(quán)重和紅外光檢測的的融合權(quán)重均為0。

22、在一種實現(xiàn)方案中，根據(jù)預(yù)先配置的動態(tài)置信度融合策略對可見光檢測結(jié)果和紅外光檢測結(jié)果進(jìn)行融合，得到目標(biāo)檢測結(jié)果，包括：

23、若檢測到可見光檢測結(jié)果和/或紅外光檢測結(jié)果的置信度大于等于第一閾值，則根據(jù)可見光檢測和紅外光檢測的融合權(quán)重，分別對可見光檢測結(jié)果和紅外光檢測結(jié)果的邊界框和置信度進(jìn)行加權(quán)求和，得到可見光檢測結(jié)果與紅外光檢測結(jié)果融合后的邊界框和置信度。

24、在一種實現(xiàn)方案中，若可見光檢測結(jié)果和紅外光檢測結(jié)果的置信度大于第二閾值且小于第一閾值，則獲取當(dāng)前時刻雷達(dá)所探測目標(biāo)的二次空間坐標(biāo)，根據(jù)二次空間坐標(biāo)生成二次高斯熱圖，將二次高斯熱圖與可見光圖像和紅外光圖像拼接，得到二次待檢測的可見光增強(qiáng)圖像和紅外光增強(qiáng)圖像；

25、將二次待檢測的可見光增強(qiáng)圖像和紅外光增強(qiáng)圖像分別輸入至預(yù)先訓(xùn)練好的目標(biāo)檢測網(wǎng)絡(luò)中，得到可見光二次檢測結(jié)果以及紅外光二次檢測結(jié)果；

26、若可見光二次檢測結(jié)果以及紅外光二次檢測結(jié)果的二次置信度均大于第二閾值且小于第一閾值，則根據(jù)預(yù)設(shè)的置信度強(qiáng)化因子對第一比值和第二比值進(jìn)行強(qiáng)化，得到可見光二次檢測以及紅外光二次檢測的二次融合權(quán)重；

27、根據(jù)可見光檢測與紅外光檢測的二次融合權(quán)重，分別對可見光二次檢測結(jié)果和紅外光二次檢測結(jié)果的邊界框和置信度進(jìn)行加權(quán)求和，得到可見光二次檢測結(jié)果與紅外光二次檢測結(jié)果融合后的邊界框和置信度。

28、在一種實現(xiàn)方案中，若檢測到可見光二次檢測結(jié)果和/或紅外光二次檢測結(jié)果的置信度大于等于第一閾值，則根據(jù)可見光檢測和紅外光檢測的融合權(quán)重，分別對可見光二次檢測結(jié)果和紅外光二次檢測結(jié)果的邊界框和置信度進(jìn)行加權(quán)求和，得到可見光二次檢測結(jié)果與紅外光二次檢測結(jié)果融合后的邊界框和置信度。

29、本發(fā)明的第二方面，提供了一種基于雷達(dá)先驗引導(dǎo)的目標(biāo)檢測系統(tǒng)，系統(tǒng)包括：

30、圖像獲取模塊，用于獲取待檢測的可見光增強(qiáng)圖像和紅外光增強(qiáng)圖像；其中，可見光增強(qiáng)圖像是由高斯熱圖與可見光圖像拼接得到，紅外光增強(qiáng)圖像是由高斯熱圖與紅外光圖像拼接得到；高斯熱圖是由雷達(dá)所探測目標(biāo)的空間坐標(biāo)生成的；

31、第一目標(biāo)檢測模塊，用于將待檢測的可見光增強(qiáng)圖像和紅外光增強(qiáng)圖像分別輸入至預(yù)先訓(xùn)練好的目標(biāo)檢測網(wǎng)絡(luò)中，得到可見光檢測結(jié)果以及紅外光檢測結(jié)果；

32、第二目標(biāo)檢測模塊，用于根據(jù)預(yù)先配置的動態(tài)置信度融合策略對可見光檢測結(jié)果和紅外光檢測結(jié)果進(jìn)行融合，得到目標(biāo)檢測結(jié)果。

33、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

34、1、在本發(fā)明提供的一種基于雷達(dá)先驗引導(dǎo)的目標(biāo)檢測方法及系統(tǒng)中，利用雷達(dá)提供目標(biāo)的空間坐標(biāo)作為先驗信息轉(zhuǎn)化為一張強(qiáng)調(diào)目標(biāo)附近區(qū)域的高斯熱圖，然后將高斯熱圖與可見光圖像與紅外光圖像拼接，得到可見光增強(qiáng)圖像和紅外光增強(qiáng)圖像，從而將不確定性區(qū)域以高斯分布形式映射到光電圖像的平面內(nèi)，然后使用這些增強(qiáng)圖像來訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)，訓(xùn)練完成后的目標(biāo)檢測網(wǎng)絡(luò)可關(guān)注中心的高概率區(qū)域，而非均勻掃描整幅光電圖像，顯著縮小了搜索空間，從而提升對偽裝、小體積飛行目標(biāo)的檢出效率和準(zhǔn)確率。

35、2、本發(fā)明在?yolov7-tiny?網(wǎng)絡(luò)的backbone網(wǎng)絡(luò)與neck網(wǎng)絡(luò)之間嵌入?cbam，得到目標(biāo)檢測網(wǎng)絡(luò)，實現(xiàn)通道與空間級二次加權(quán)，提高對偽裝／弱目標(biāo)的響應(yīng)。其次，還在目標(biāo)檢測網(wǎng)絡(luò)的neck網(wǎng)絡(luò)的pan網(wǎng)絡(luò)輸出端增加一個小尺度目標(biāo)檢測頭，用于處理<16×16px的極小目標(biāo)，從而提升目標(biāo)檢測的召回率與定位精度。

36、3、本發(fā)明在目標(biāo)檢測網(wǎng)絡(luò)輸出的紅外光檢測結(jié)果和可見光檢測結(jié)果基礎(chǔ)上，還結(jié)合置信度動態(tài)融合策略對高/中/低置信度自適應(yīng)加權(quán)或觸發(fā)多階段補(bǔ)償檢測，確保中、低置信度場景的漏檢也能得到補(bǔ)償，有效應(yīng)對云霧遮擋、目標(biāo)偽裝等復(fù)雜場景的誤檢挑戰(zhàn)，從而在保障檢測實時性的前提下優(yōu)化目標(biāo)檢測網(wǎng)絡(luò)的魯棒性。