本發(fā)明屬于圖像處理，具體來說是一種基于互補學習機制的連續(xù)圖像去雨方法。

背景技術：

1、雨水天氣是一種廣泛存在于日常生活中的場景，然而雨水給圖片帶來的嚴重偽影往往會對高層的計算機視覺任務帶來很大的挑戰(zhàn)，例如：視頻監(jiān)控、行人識別和自動駕駛等。在上述的計算機視覺任務中，圖像去雨已經(jīng)成為一個十分重要的預處理環(huán)節(jié)。

2、盡管已經(jīng)提出了許多基于深度學習的圖像去雨算法來解決這個問題，但它們不能很好地適用于實際復雜的場景。在現(xiàn)實場景下，雨水類型多樣且復雜，圖像去雨算法應該具備處理多種雨水類型的能力。然而，現(xiàn)有方法中的大多數(shù)只專注于學習特定的雨水圖片數(shù)據(jù)集的映射規(guī)則，這嚴重降低了這些方法在真實雨水場景下的泛化性，進而限制了它們在實際情況中的應用。

3、在圖像去雨領域內，當前存在兩種圖像去雨方法旨在解決上述困境，但都存在各自的弊端。1）、pigwm（zhou,?m.,?xiao,?j.,?et?al.:?image?de-raining?via?continuallearning.?in:?cvpr?2021）?利用參數(shù)重要性引導權重修改的方法，向模型參數(shù)添加正則化項，以減輕圖像去雨中的災難性遺忘，從而可以連續(xù)學習多個雨水圖片數(shù)據(jù)集，進而提高模型在真實場景中的泛化性。?盡管如此，pigwm?只能在三個雨水圖片數(shù)據(jù)集上維持可接受的性能，當涉及到更多的數(shù)據(jù)集時，就會出現(xiàn)災難性遺忘的情況。2）、nr（xiao,?j.,?zhou,m.,?et?al.:?improving?de-raining?generalization?via?neural?reorganization.in:?iccv?(2021)）?是一種借鑒了生物大腦中的突觸鞏固機制和知識蒸餾的思想的神經(jīng)自組織方法。然而，nr?只有在多個數(shù)據(jù)集以特定順序輸入網(wǎng)絡學習時才能保留良好的記憶力并在未見數(shù)據(jù)上保持良好的泛化性。當以不同的順序訓練各種數(shù)據(jù)集時，早期數(shù)據(jù)集的性能和泛化性能將會下降。

技術實現(xiàn)思路

1、本發(fā)明是為了解決上述現(xiàn)有技術存在的不足之處，提出了一種基于互補學習機制的連續(xù)圖像去雨方法，以期使得去雨網(wǎng)絡擁有連續(xù)學習多個合成雨水數(shù)據(jù)集的能力，從而提高網(wǎng)絡在真實雨水場景下的泛化性，更加貼合現(xiàn)實場景下的應用。

2、本發(fā)明為解決上述技術問題，采用如下技術方案：

3、本發(fā)明一種基于互補機制的連續(xù)圖像去雨方法的特點在于，是按如下步驟進行：

4、步驟1、獲取雨水圖片數(shù)據(jù)集，記為{}，其中，表示第i個雨水圖片數(shù)據(jù)集，且，表示中第m張雨水圖片，表示對應的干凈圖片，；n為雨水圖片數(shù)據(jù)集的總數(shù)，為第i個雨水圖片數(shù)據(jù)集中圖片對的總數(shù)；

5、步驟2、初始化i=1；

6、步驟3、構建第i個生成網(wǎng)絡，并利用對進行訓練，得到訓練后的第i個生成網(wǎng)絡；

7、步驟4、判斷i=1是否成立，若成立，則執(zhí)行步驟5，否則，執(zhí)行步驟6；

8、步驟5、構建第i個去雨網(wǎng)絡，并利用對進行訓練，得到訓練后的第i個去雨網(wǎng)絡后，并執(zhí)行步驟8；

9、步驟6、利用訓練后的前i-1個生成網(wǎng)絡{}生成第i個回放數(shù)據(jù)集，從而由和組成第i個擴展數(shù)據(jù)集；其中，表示第m張回放雨水圖片，表示對應的干凈圖片；

10、步驟7、構建第i個去雨網(wǎng)絡，并基于和，對進行訓練，得到訓練后的第i個去雨網(wǎng)絡；

11、步驟8、將i+1賦值給i后，返回步驟3，直至i>n為止，從而得到訓練后的第n個去雨網(wǎng)絡作為全局最優(yōu)去雨網(wǎng)絡，用于對輸入的測試雨水圖片進行去雨處理，得到干凈圖片。

12、本發(fā)明所述的一種基于互補機制的連續(xù)圖像去雨方法的特點也在于，步驟6是按如下步驟進行：

13、步驟6.1、從[1,i-1]中選取任一個序號c，并將中任一張干凈圖片輸入訓練后的第c個生成網(wǎng)絡中進行處理，生成一張回放雨水圖片，從而組成一個圖片對存入第i個回放數(shù)據(jù)集中；

14、步驟6.2、按照步驟6.1的過程，得到m個圖片對，構成最終的第i個回放數(shù)據(jù)集。

15、進一步的，步驟7.是按如下步驟進行：

16、步驟7.1、利用式(1)構建增量損失：

17、?(1)

18、式(1)中，表示結構相似性度量；

19、步驟7.2、利用式(2)構建回放損失：

20、?(2)

21、步驟7.3、利用式(3)構建蒸餾損失：

22、?(3)

23、式(3)中，表示l1范數(shù)；

24、步驟7.4、利用式(4)構建總損失函數(shù)：

25、?(4)

26、式(4)中，為權重超參數(shù)；

27、步驟7.5、利用adam優(yōu)化器對進行訓練，并計算以更新網(wǎng)絡參數(shù)，直至收斂為止，從而得到訓練后的第i個去雨網(wǎng)絡。

28、本發(fā)明一種電子設備，包括存儲器以及處理器的特點在于，所述存儲器用于存儲支持處理器執(zhí)行所述的連續(xù)圖像去雨方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。

29、本發(fā)明一種計算機可讀存儲介質，計算機可讀存儲介質上存儲有計算機程序的特點在于，所述計算機程序被處理器運行時執(zhí)行所述的連續(xù)圖像去雨方法的步驟。

30、與現(xiàn)有技術相比，本發(fā)明的有益效果在于：

31、1、本發(fā)明通過引入生成網(wǎng)絡構建歷史樣本的回放數(shù)據(jù)，有效緩解了多階段訓練中的災難性遺忘問題，使去雨網(wǎng)絡在持續(xù)學習新任務的同時保留既有知識，增強了跨階段的知識積累能力，從而提升了模型在真實多樣雨水場景下的泛化性能。

32、2、本發(fā)明聯(lián)合設計增量損失、回放損失與蒸餾損失，引導模型兼顧當前任務學習與歷史任務保持，在去雨網(wǎng)絡連續(xù)訓練過程中實現(xiàn)了有效知識整合，有助于穩(wěn)定模型更新過程并提升了整體去雨效果。

1.一種基于互補機制的連續(xù)圖像去雨方法，其特征在于，是按如下步驟進行：

2.根據(jù)權利要求1所述的一種基于互補機制的連續(xù)圖像去雨方法，其特征在于，步驟6是按如下步驟進行：

3.根據(jù)權利要求2所述的一種基于互補機制的連續(xù)圖像去雨方法，其特征在于，步驟7.是按如下步驟進行：

4.一種電子設備，包括存儲器以及處理器，其特征在于，所述存儲器用于存儲支持處理器執(zhí)行權利要求1-3中任一項所述的連續(xù)圖像去雨方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。

5.一種計算機可讀存儲介質，計算機可讀存儲介質上存儲有計算機程序，其特征在于，所述計算機程序被處理器運行時執(zhí)行權利要求1-3中任一項所述的連續(xù)圖像去雨方法的步驟。