本申請(qǐng)涉及語(yǔ)音處理，更具體地，涉及一種基于判別-生成聯(lián)合模型的語(yǔ)音增強(qiáng)方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、語(yǔ)音增強(qiáng)（speech?enhancement，se）旨在從被各種退化類型（包括背景噪聲、房間混響、編解碼器偽影等）干擾的音頻信號(hào)中恢復(fù)出干凈語(yǔ)音信號(hào)，其被廣泛用作人機(jī)交互、遠(yuǎn)程會(huì)議等應(yīng)用的前端模塊。

2、現(xiàn)有的許多se方法通常是任務(wù)驅(qū)動(dòng)的，分別針對(duì)去噪、去混響或語(yǔ)音超分辨任務(wù)進(jìn)行設(shè)計(jì)。然而相關(guān)技術(shù)的語(yǔ)音增強(qiáng)方式其輸出的增強(qiáng)語(yǔ)音與實(shí)際相差較大，而且使用的計(jì)算資源較多。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請(qǐng)?zhí)峁┝艘环N基于判別-生成聯(lián)合模型的語(yǔ)音增強(qiáng)方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、本申請(qǐng)的一個(gè)方面提供了一種基于判別-生成聯(lián)合模型的語(yǔ)音增強(qiáng)方法，包括：

3、獲取待處理語(yǔ)音信號(hào)，其中，上述待處理語(yǔ)音信號(hào)表征帶有噪音的語(yǔ)音信號(hào)；

4、將上述待處理語(yǔ)音信號(hào)輸入至判別-生成聯(lián)合模型，得到預(yù)測(cè)頻域信息和預(yù)測(cè)分?jǐn)?shù)函數(shù)，其中，上述判別-生成聯(lián)合模型包括語(yǔ)音判別網(wǎng)絡(luò)、語(yǔ)音交互網(wǎng)絡(luò)和語(yǔ)音生成網(wǎng)絡(luò)，上述語(yǔ)音交互網(wǎng)絡(luò)用于對(duì)上述語(yǔ)音判別網(wǎng)絡(luò)和上述語(yǔ)音生成網(wǎng)絡(luò)中的隱特征進(jìn)行融合以使得上述語(yǔ)音生成網(wǎng)絡(luò)根據(jù)融合隱特征生成上述預(yù)測(cè)分?jǐn)?shù)函數(shù)；

5、根據(jù)上述預(yù)測(cè)頻域信息和上述預(yù)測(cè)分?jǐn)?shù)函數(shù)，生成增強(qiáng)語(yǔ)音信號(hào)。

6、本申請(qǐng)的另一個(gè)方面提供了一種語(yǔ)音增強(qiáng)裝置，包括：

7、獲取模塊，用于獲取待處理語(yǔ)音信號(hào)，其中，上述待處理語(yǔ)音信號(hào)表征帶有噪音的語(yǔ)音信號(hào)；

8、處理模塊，用于將上述待處理語(yǔ)音信號(hào)輸入至判別-生成聯(lián)合模型，得到預(yù)測(cè)頻域信息和預(yù)測(cè)分?jǐn)?shù)函數(shù)，其中，上述判別-生成聯(lián)合模型包括語(yǔ)音判別網(wǎng)絡(luò)、語(yǔ)音交互網(wǎng)絡(luò)和語(yǔ)音生成網(wǎng)絡(luò)，上述語(yǔ)音交互網(wǎng)絡(luò)用于對(duì)上述語(yǔ)音判別網(wǎng)絡(luò)和上述語(yǔ)音生成網(wǎng)絡(luò)中的隱特征進(jìn)行融合以使得上述語(yǔ)音生成網(wǎng)絡(luò)根據(jù)融合隱特征生成上述預(yù)測(cè)分?jǐn)?shù)函數(shù)；

9、生成模塊，用于根據(jù)上述預(yù)測(cè)頻域信息和上述預(yù)測(cè)分?jǐn)?shù)函數(shù)，生成增強(qiáng)語(yǔ)音信號(hào)。

10、本申請(qǐng)的另一個(gè)方面提供了一種電子設(shè)備，包括：

11、一個(gè)或多個(gè)處理器；

12、存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序，

13、其中，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如上所述的方法。

14、本申請(qǐng)的另一方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上所述的方法。

15、本申請(qǐng)的另一方面提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上所述的方法。

技術(shù)特征：

1.一種基于判別-生成聯(lián)合模型的語(yǔ)音增強(qiáng)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判別-生成聯(lián)合模型是通過(guò)如下方式訓(xùn)練的：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于注意力機(jī)制，利用語(yǔ)音判別網(wǎng)絡(luò)對(duì)所述初始頻域信息中幅度和相位進(jìn)行處理，得到目標(biāo)判別隱特征和目標(biāo)頻域信息，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，將所述幅度狀態(tài)變量和所述目標(biāo)生成隱特征輸入至所述語(yǔ)音生成網(wǎng)絡(luò)，對(duì)所述幅度狀態(tài)變量，輸出目標(biāo)分?jǐn)?shù)函數(shù)，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述判別編碼器和所述生成編碼器通過(guò)如下方式進(jìn)行數(shù)據(jù)處理：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，利用m個(gè)子帶下采樣塊處理所述第一卷積特征，得到第一輸出特征，包括：

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第一雙路徑循環(huán)注意力網(wǎng)絡(luò)和所述第二雙路徑循環(huán)注意力網(wǎng)絡(luò)的數(shù)量為l；

8.根據(jù)權(quán)利要求2或4所述的方法，其特征在于，利用語(yǔ)音交互網(wǎng)絡(luò)對(duì)所述目標(biāo)判別隱特征和初始生成隱特征進(jìn)行加權(quán)融合，得到所述目標(biāo)生成隱特征，包括：

9.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第一雙路徑循環(huán)注意力網(wǎng)絡(luò)和所述第二雙路徑循環(huán)注意力網(wǎng)絡(luò)中任一雙路徑循環(huán)注意力網(wǎng)絡(luò)通過(guò)如下方式進(jìn)行數(shù)據(jù)處理：

10.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述目標(biāo)頻域信息包括目標(biāo)幅度信息和目標(biāo)復(fù)數(shù)信息，所述標(biāo)簽語(yǔ)音信息包括標(biāo)簽幅度信息和標(biāo)簽復(fù)數(shù)信息；

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N基于判別?生成聯(lián)合模型的語(yǔ)音增強(qiáng)方法，包括獲取待處理語(yǔ)音信號(hào)，其中，待處理語(yǔ)音信號(hào)表征帶有噪音的語(yǔ)音信號(hào)；將待處理語(yǔ)音信號(hào)輸入至判別?生成聯(lián)合模型，得到預(yù)測(cè)頻域信息和預(yù)測(cè)分?jǐn)?shù)函數(shù)，其中，判別?生成聯(lián)合模型包括語(yǔ)音判別網(wǎng)絡(luò)、語(yǔ)音交互網(wǎng)絡(luò)和語(yǔ)音生成網(wǎng)絡(luò)，語(yǔ)音交互網(wǎng)絡(luò)用于對(duì)語(yǔ)音判別網(wǎng)絡(luò)和語(yǔ)音生成網(wǎng)絡(luò)中的隱特征進(jìn)行融合以使得語(yǔ)音生成網(wǎng)絡(luò)根據(jù)融合隱特征生成預(yù)測(cè)分?jǐn)?shù)函數(shù)；根據(jù)預(yù)測(cè)頻域信息和預(yù)測(cè)分?jǐn)?shù)函數(shù)，生成增強(qiáng)語(yǔ)音信號(hào)。

技術(shù)研發(fā)人員：張結(jié),嚴(yán)浩尹
受保護(hù)的技術(shù)使用者：中國(guó)科學(xué)技術(shù)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/6/26