本發(fā)明屬于計算機(jī)視覺，具體涉及一種多條件先驗(yàn)引導(dǎo)的人臉?biāo)孛?照片合成方法。
背景技術(shù)：
1、人臉?biāo)孛?照片合成技術(shù)在執(zhí)法偵查、數(shù)字娛樂等多個現(xiàn)實(shí)應(yīng)用場景中具有廣泛應(yīng)用價值。例如，在執(zhí)法領(lǐng)域，辦案人員通常根據(jù)目擊者描述繪制嫌疑人素描，并將其與照片數(shù)據(jù)庫進(jìn)行匹配，以輔助身份識別。然而，由于素描與照片之間存在顯著的模態(tài)差異，該任務(wù)屬于典型的異質(zhì)人臉識別問題，難以實(shí)現(xiàn)特征的一致對齊與精確匹配。
2、現(xiàn)有技術(shù)中，較早的方法包括基于圖像塊匹配的回歸模型和基于樣本的映射方法。例如，已有研究利用多尺度馬爾可夫隨機(jī)場對圖像塊進(jìn)行匹配，或通過支持向量回歸實(shí)現(xiàn)素描與照片間高頻信息的映射。然而，這類傳統(tǒng)方法在建模復(fù)雜結(jié)構(gòu)和細(xì)節(jié)方面存在一定局限。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(cnn)和transformer等架構(gòu)逐漸成為主流。cnn在提取局部特征方面具有較強(qiáng)能力，但由于感受野限制，難以捕捉長距離依賴關(guān)系，影響整體結(jié)構(gòu)的還原。transformer架構(gòu)具備較強(qiáng)的全局建模能力，在一定程度上彌補(bǔ)了上述缺陷，但在高分辨率圖像上的計算開銷大、參數(shù)量大，存在效率與擴(kuò)展性方面的不足。
3、近期，狀態(tài)空間模型(state?space?model,ssm)憑借線性時間復(fù)雜度和建模長距離依賴的能力重新受到關(guān)注。其中，mamba架構(gòu)通過引入選擇性掃描機(jī)制，在語義分割與變化檢測等視覺任務(wù)中展現(xiàn)出良好性能。已有研究嘗試將mamba與cnn結(jié)合應(yīng)用于素描-照片合成任務(wù)，并取得一定進(jìn)展。但在直接應(yīng)用過程中，仍存在以下問題：
4、當(dāng)前方法往往對跨模態(tài)的語義與紋理特征進(jìn)行整體建模，忽略其獨(dú)立性，導(dǎo)致生成圖像存在結(jié)構(gòu)性偽影與感知不一致問題；
5、通用掃描方法(如光柵掃描、局部掃描或線性掃描)在空間結(jié)構(gòu)建模方面存在不足，難以保留圖像的紋理連續(xù)性與層次結(jié)構(gòu)，影響輸出質(zhì)量；
6、特征融合方式過于簡單，缺乏高層次先驗(yàn)的引導(dǎo)(如語義、紋理或顏色)，造成關(guān)鍵特征信息在融合過程中的丟失，影響合成圖像的保真度與感知效果。
7、因此，亟需一種結(jié)構(gòu)合理、效率更高、融合機(jī)制更有效的素描-照片合成新方法，以提升圖像的真實(shí)感、結(jié)構(gòu)還原能力及感知一致性。
技術(shù)實(shí)現(xiàn)思路
1、針對現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種多條件先驗(yàn)引導(dǎo)的雙螺旋cnn-mamba網(wǎng)絡(luò)的人臉?biāo)孛?照片合成方法，該方法在統(tǒng)一的深度模型中實(shí)現(xiàn)了語義特征與紋理特征的解耦建模與融合優(yōu)化，有利于生成具有更高結(jié)構(gòu)保真度、紋理連續(xù)性與感知質(zhì)量的目標(biāo)模態(tài)圖像，并促進(jìn)身份一致的人臉圖像生成。本發(fā)明通過引入語義先驗(yàn)、紋理先驗(yàn)與顏色先驗(yàn)，在合成過程中提升圖像的全局結(jié)構(gòu)表達(dá)與細(xì)節(jié)還原能力，同時借助狀態(tài)空間模型mamba的線性時序建模能力，在保持高效計算的同時提升跨模態(tài)建模能力。生成的高質(zhì)量照片圖像可進(jìn)一步用于訓(xùn)練異質(zhì)人臉識別系統(tǒng)，從而提升其識別準(zhǔn)確率與泛化能力。
2、為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：
3、一種多條件先驗(yàn)引導(dǎo)的人臉?biāo)孛?照片合成方法，該方法包括以下步驟：
4、獲取待合成的素描人臉圖像和隨機(jī)選取的參考照片人臉圖像；
5、將待合成的素描人臉圖像和隨機(jī)選取的參考照片人臉圖像輸入到訓(xùn)練后的人臉?biāo)孛?照片合成網(wǎng)絡(luò)模型中，輸出合成的人臉圖像的合成結(jié)果；
6、其中，所述人臉?biāo)孛?照片合成網(wǎng)絡(luò)模型的訓(xùn)練過程包括：
7、獲取素描-照片對數(shù)據(jù)集，其中每對樣本包含一張素描人臉圖像以及其對應(yīng)的可見光照片圖像。同時，利用hsv顏色提取網(wǎng)絡(luò)對可見光圖像生成三類輔助先驗(yàn)圖，包括語義顏色圖、紋理顏色圖和綜合顏色圖，分別作為語義、紋理與顏色先驗(yàn)輸入。
8、對輸入的素描圖像和三類hsv先驗(yàn)圖進(jìn)行多尺度特征提取，提取不同分辨率下的特征表示，用于后續(xù)模塊的解耦增強(qiáng)與融合建模。
9、以素描圖像和語義先驗(yàn)圖為輸入，結(jié)合空間自適應(yīng)規(guī)范化語義調(diào)制與狀態(tài)空間模型增強(qiáng)語義一致性；以素描圖像和紋理先驗(yàn)圖為輸入，結(jié)合自適應(yīng)實(shí)例歸一化紋理調(diào)制與狀態(tài)空間建模模塊，提升細(xì)節(jié)恢復(fù)與邊緣對齊能力；融合語義特征、紋理特征和顏色先驗(yàn)圖的多尺度特征，利用壓縮與激勵模塊、全局平均池化和注意力機(jī)制進(jìn)行顯著區(qū)域增強(qiáng)與色彩校正，生成最終高質(zhì)量照片圖像輸出。
10、通過優(yōu)化對抗損失、循環(huán)一致性損失和感知損失的總損失和，交替訓(xùn)練人臉?biāo)孛?照片合成網(wǎng)絡(luò)模型的語義先驗(yàn)特征解耦增強(qiáng)模塊模塊、紋理先驗(yàn)特征解耦增強(qiáng)模塊和特征融合模塊，直至滿足訓(xùn)練的預(yù)設(shè)條件。
11、將待測試的素描人臉圖像輸入到訓(xùn)練好的多條件先驗(yàn)引導(dǎo)的人臉?biāo)孛?照片合成網(wǎng)絡(luò)模型中，從而輸出對應(yīng)的照片圖像。
12、本發(fā)明方法與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)與有益效果：
13、1)可以通過語義與紋理雙分支建模，實(shí)現(xiàn)了跨模態(tài)特征的結(jié)構(gòu)性解耦，生成的人臉圖像具有更高的結(jié)構(gòu)清晰度與細(xì)節(jié)真實(shí)感；
14、2)可以通過結(jié)合雙螺旋掃描路徑，增強(qiáng)了人臉區(qū)域的空間建模能力，相比傳統(tǒng)掃描策略，能更好地保留人臉關(guān)鍵結(jié)構(gòu)信息；
15、3)可以實(shí)現(xiàn)語義、紋理與顏色的多模態(tài)引導(dǎo)融合，有效改善圖像顏色缺失與融合信息模糊的問題；
16、4)生成的高質(zhì)量目標(biāo)模態(tài)圖像可作為訓(xùn)練樣本擴(kuò)展異質(zhì)人臉識別模型的數(shù)據(jù)分布，從而提升識別模型的魯棒性與跨模態(tài)識別性能；也可以將本發(fā)明提出的模型作為圖像預(yù)處理步驟直接用于跨模態(tài)人臉識別用于提高識別性能。
1.一種多條件先驗(yàn)引導(dǎo)的人臉?biāo)孛?照片合成方法，其特征在于，所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種多條件先驗(yàn)引導(dǎo)的人臉?biāo)孛?照片合成方法，其特征在于，所述語義先驗(yàn)特征解耦增強(qiáng)模塊模塊和紋理先驗(yàn)特征解耦增強(qiáng)模塊考慮到了人臉的復(fù)雜結(jié)構(gòu)，分別從語義和紋理兩個角度解耦增強(qiáng)特征，所述特征融合模塊融合了增強(qiáng)后的語義特征和紋理特征與隨機(jī)選取的照片人臉圖像提取的色彩先驗(yàn)特征，補(bǔ)充了合成過程中易缺失的色彩信息。
3.根據(jù)權(quán)利要求1所述的一種多條件先驗(yàn)引導(dǎo)的人臉?biāo)孛?照片合成方法，其特征在于，總損失和表示如下：
4.根據(jù)權(quán)利要求3所述的一種聯(lián)合特征解耦與模態(tài)轉(zhuǎn)換的異質(zhì)人臉識別方法，其特征在于，各個損失依次表示如下：