本發(fā)明屬于圖像處理相關(guān)，更具體地，涉及一種基于事件-圖像融合的極低光照成像方法、系統(tǒng)及裝置。

背景技術(shù)：

1、極低光照成像在月球極區(qū)探測、洞穴勘探等領(lǐng)域具有不可估量的價(jià)值。然而，幀成像體制在低光動態(tài)場景面臨曝光時(shí)間的權(quán)衡問題，長曝光產(chǎn)生運(yùn)動模糊、短曝光信噪比過低。這兩者均嚴(yán)重破壞圖像的視覺效果，使得目標(biāo)檢測、語義分割等高層任務(wù)的結(jié)果受到影響。事件相機(jī)是一種神經(jīng)形態(tài)新型傳感器，各像素異步觸發(fā)，具有高時(shí)間分辨率、寬動態(tài)范圍的特點(diǎn)，在極低光照成像領(lǐng)域具有廣闊的利用價(jià)值。

2、雖然事件相機(jī)具有極低光照成像的潛力，但由于其捕獲相對光強(qiáng)變化的特性，難以重建場景中的絕對光強(qiáng)，因此常通過使用事件-圖像雙模融合的方法優(yōu)勢互補(bǔ)，實(shí)現(xiàn)低光環(huán)境的高質(zhì)量成像?，F(xiàn)有技術(shù)通常以通道合并的方式直接融合兩個(gè)模態(tài)的特征(lie、elednet等)，或者按照圖像信噪比為先驗(yàn)加權(quán)融合圖像和事件模態(tài)(evlight等)。這些方法往往忽視了事件信號在極低光照下也存在嚴(yán)重噪聲的事實(shí)，使得重建過程中兩個(gè)模態(tài)的噪聲疊加，導(dǎo)致低光環(huán)境融合成像質(zhì)量受限。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于事件-圖像融合的極低光照成像方法、系統(tǒng)及裝置，其目的在于對圖像和事件模態(tài)進(jìn)行融合并降低數(shù)據(jù)噪聲，提高融合成像質(zhì)量。

2、為實(shí)現(xiàn)上述目的，按照本發(fā)明的第一個(gè)方面，提供了一種基于事件-圖像融合的極低光照成像方法，其包括：

3、獲取相同場景下的通過幀相機(jī)采集的幀圖像和通過事件相機(jī)同步采集的事件集合；

4、提取所述幀圖像體現(xiàn)不同像素區(qū)域光照相對強(qiáng)弱的光照先驗(yàn)并通過第一圖像編碼器提取所述幀圖像的圖像特征fi；

5、使用以所述光照先驗(yàn)為指導(dǎo)的時(shí)空濾波方法對所述事件集合進(jìn)行去噪，所述時(shí)空濾波方法包括：遍歷所述事件集合中的每個(gè)事件并將其作為待處理事件，對于每個(gè)所述待處理事件，取其前ε秒內(nèi)的所有事件作為比較事件集合，若所述比較事件集合中與對應(yīng)待處理事件之間的曼哈頓距離小于σ的事件的數(shù)量小于ξ，則判斷對應(yīng)待處理事件為噪聲并進(jìn)行濾除，反之則為信號并保留，ε、σ和ξ均為預(yù)設(shè)值，且不同光強(qiáng)的像素區(qū)域內(nèi)的事件對應(yīng)不同的σ和ξ，σ與光強(qiáng)反相關(guān)，ξ與光強(qiáng)正相關(guān)；

6、將去噪后的事件集合中的事件體素化為三維張量，通過第二圖像編碼器提取所述三維張量的事件特征fe；

7、基于所述光照先驗(yàn)對所述圖像特征fi和所述事件特征fe進(jìn)行加權(quán)融合，所述融合滿足在光強(qiáng)越大的像素區(qū)域時(shí)越關(guān)注圖像特征而在光強(qiáng)越小的像素區(qū)域越關(guān)注所述事件特征，經(jīng)過所述融合得到融合特征fm；

8、將所述融合特征fm輸入特征解碼器，得到對應(yīng)場景下的重建圖像。

9、可選地，采用retinex理論獲取所述幀圖像的光照先驗(yàn)；

10、采用retinex理論提取光照先驗(yàn)的操作包括：對所述幀圖像進(jìn)行高斯卷積，將卷積后的圖像按通道取最大值，得到對應(yīng)的光照先驗(yàn)。

11、可選地，進(jìn)行加權(quán)融合的公式為：

12、；

13、式中，表示哈達(dá)瑪積的運(yùn)算符，m表示歸一化后的光照先驗(yàn)。

14、可選地，所述特征解碼器基于u-net神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)特征解碼。

15、按照本發(fā)明的第二個(gè)方面，提供了一種基于事件-圖像融合的極低光照成像系統(tǒng)，其包括：

16、數(shù)據(jù)獲取模塊，用于獲取相同場景下的通過幀相機(jī)采集的幀圖像和通過事件相機(jī)同步采集的事件集合；

17、光照先驗(yàn)?zāi)K，用于提取所述幀圖像體現(xiàn)不同像素區(qū)域光照相對強(qiáng)弱的光照先驗(yàn)；

18、第一圖像編碼器，用于提取所述幀圖像的圖像特征fi；

19、時(shí)空濾波模塊，用于使用以所述光照先驗(yàn)為指導(dǎo)的時(shí)空濾波方法對所述事件集合進(jìn)行去噪，所述時(shí)空濾波方法包括：遍歷所述事件集合中的每個(gè)事件并將其作為待處理事件，對于每個(gè)所述待處理事件，取其前ε秒內(nèi)的所有事件作為比較事件集合，若所述比較事件集合中與對應(yīng)待處理事件之間的曼哈頓距離小于σ的事件的數(shù)量小于ξ，則判斷對應(yīng)待處理事件為噪聲并進(jìn)行濾除，反之則為信號并保留，ε、σ和ξ均為預(yù)設(shè)值，且不同光強(qiáng)的像素區(qū)域內(nèi)的事件對應(yīng)不同的σ和ξ，σ與光強(qiáng)反相關(guān)，ξ與光強(qiáng)正相關(guān)；

20、體素化模塊，用于將去噪后的事件集合中的事件體素化為三維張量；

21、第二圖像編碼器，用于提取所述三維張量的事件特征fe；

22、特征融合模塊，用于基于所述光照先驗(yàn)對所述圖像特征fi和所述事件特征fe進(jìn)行加權(quán)融合，所述融合滿足在光強(qiáng)越大的像素區(qū)域時(shí)越關(guān)注圖像特征而在光強(qiáng)越小的像素區(qū)域越關(guān)注所述事件特征，經(jīng)過所述融合得到融合特征fm；

23、特征解碼器，用于對所述融合特征fm進(jìn)行解碼，得到對應(yīng)場景下的重建圖像。

24、按照本發(fā)明的第三個(gè)方面，提供了一種成像訓(xùn)練裝置，其包括；

25、訓(xùn)練數(shù)據(jù)集獲取模塊，用于獲取多組訓(xùn)練數(shù)據(jù)以及對應(yīng)的標(biāo)簽，每組訓(xùn)練數(shù)據(jù)包括相同場景在低光強(qiáng)時(shí)的通過幀相機(jī)采集的幀圖像和通過事件相機(jī)同步采集的事件集合，對應(yīng)的標(biāo)簽為相同場景在高光強(qiáng)時(shí)的幀圖像；所述低光強(qiáng)和所述高光強(qiáng)為相對關(guān)系；

26、反向傳播控制模塊，用于將每組所述訓(xùn)練數(shù)據(jù)輸入如第二方面所述的極低光照成像系統(tǒng)并獲取重建圖像，根據(jù)所述重建圖像與對應(yīng)標(biāo)簽之間的損失反向調(diào)節(jié)所述極低光照成像系統(tǒng)中的第一圖像編碼器、第二圖像編碼器和特征解碼器的網(wǎng)絡(luò)參數(shù)，重復(fù)訓(xùn)練直至損失收斂至預(yù)設(shè)程度。

27、可選地，所述訓(xùn)練數(shù)據(jù)集獲取模塊包括第一分光鏡、第二分光鏡、第一濾光片、第二濾光片、第一幀相機(jī)、第二幀相機(jī)和事件相機(jī)；

28、所述第一分光鏡用于將外部光線分成兩份并分別輸入至所述第一幀相機(jī)和所述第二分光鏡，所述第二分光鏡再次將其所接收到的光線分成兩份，其中一份經(jīng)所述第一濾光片后輸入至所述第一幀相機(jī)，另一份經(jīng)所述第二濾光片后輸入至所述事件相機(jī)；所述第二幀相機(jī)和所述事件相機(jī)同步采集的幀圖像和事件集合進(jìn)行空間對齊后作為一組訓(xùn)練數(shù)據(jù)，所述第一幀相機(jī)同步采集的幀圖像作為對應(yīng)的標(biāo)簽。

29、按照本發(fā)明的第四個(gè)方面，提供了一種電子設(shè)備，包括存儲器和處理器，所述存儲器存儲有計(jì)算機(jī)程序，其中，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面任一項(xiàng)所述的方法的步驟。

30、按照本發(fā)明的第五個(gè)方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面任一項(xiàng)所述的方法的步驟。

31、按照本發(fā)明的第六個(gè)方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，其中，所述計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面任一項(xiàng)所述的方法的步驟。

32、總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，本發(fā)明主要具有以下有益效果：

33、在本發(fā)明中，結(jié)合幀相機(jī)和事件相機(jī)，對同步采集的幀圖像和事件進(jìn)行融合處理，其中，使用圖像編碼器提取幀圖像的圖像特征，并提取幀圖像的光照先驗(yàn)，使用光照先驗(yàn)為指導(dǎo)的時(shí)空濾波方法，對光照更強(qiáng)的區(qū)域使用約束更強(qiáng)的去噪?yún)?shù)，并將去噪后的事件信號轉(zhuǎn)變?yōu)轶w素形式后提取事件特征；通過光照加權(quán)的自適應(yīng)融合方式，將幀圖像特征和事件體素進(jìn)行融合并解碼，得到高精度重建圖像。在以上方案中，由于采用了雙模融合的手段，將高動態(tài)范圍的事件信號和可提供絕對亮度的圖像信號進(jìn)行優(yōu)勢互補(bǔ)，事件信號提供暗區(qū)清晰的紋理邊緣、圖像信號提供絕對光強(qiáng)指導(dǎo)事件去噪和重建，因此最終可以實(shí)現(xiàn)極低光照環(huán)境（如1lux以下的光照條件）下的高精度成像。