本發(fā)明涉及語音處理，尤其涉及一種基于知識蒸餾的文本轉(zhuǎn)語音方法、裝置、設備及存儲介質(zhì)。

背景技術(shù)：

1、在醫(yī)療健康業(yè)務領域，tts技術(shù)正逐步應用于智能醫(yī)療助手、遠程醫(yī)療咨詢、電子病歷閱讀輔助等場景，以提升醫(yī)療服務的可及性和交互體驗。然而，當前的tts方案在醫(yī)療行業(yè)的應用仍然存在多方面的局限性。醫(yī)療領域的語音合成需求通常涉及復雜的醫(yī)學術(shù)語、病歷內(nèi)容和患者咨詢記錄，而現(xiàn)有的tts模型在處理專業(yè)性強的醫(yī)療文本時，往往無法準確表達醫(yī)學術(shù)語，容易造成信息傳遞的誤解。此外，遠程醫(yī)療和智能健康助手等應用需要實時語音生成，以確保醫(yī)生與患者之間的流暢溝通。然而，由于現(xiàn)有tts模型的推理速度較慢，語音生成過程可能出現(xiàn)卡頓或延遲，影響醫(yī)療服務的效率。同時，醫(yī)療行業(yè)中的設備多樣性較高，tts系統(tǒng)需要適應醫(yī)院信息系統(tǒng)、移動健康設備、語音交互終端等不同平臺，而現(xiàn)有模型在設備適配性方面仍存在不足。由于醫(yī)療環(huán)境對語音質(zhì)量的要求較高，現(xiàn)有的tts方案在噪聲環(huán)境下的語音合成質(zhì)量可能下降，影響醫(yī)生和患者的有效溝通。此外，醫(yī)療行業(yè)對數(shù)據(jù)安全和隱私保護有嚴格要求，現(xiàn)有的tts方案大多依賴云端計算，而醫(yī)療數(shù)據(jù)涉及患者隱私，直接使用云端tts可能帶來數(shù)據(jù)安全風險，限制了其在醫(yī)療場景中的推廣應用。

2、在金融科技業(yè)務領域，tts技術(shù)被廣泛應用于智能客服、語音播報、自動交易提醒等交互場景，以提供高效的信息傳遞和用戶服務。然而，現(xiàn)有的tts方案在金融業(yè)務的應用中仍然存在明顯的局限性。首先，許多金融服務場景需要實時響應，如智能語音客服系統(tǒng)、風控預警播報等，而當前的tts解決方案由于推理速度較慢，難以滿足高并發(fā)、低延遲的業(yè)務需求。此外，金融領域的語音交互系統(tǒng)往往涉及高度個性化的信息，如用戶的賬戶數(shù)據(jù)、交易詳情等，現(xiàn)有tts模型在語音生成過程中缺乏對業(yè)務專屬術(shù)語的自適應優(yōu)化，導致語音輸出的專業(yè)性和準確性不足。同時，金融系統(tǒng)需要在不同平臺和設備上部署語音合成系統(tǒng)，而當前的tts模型在跨平臺適配性方面仍存在問題。例如，現(xiàn)有模型在服務器端能夠提供高質(zhì)量語音合成，但在移動端、atm終端或其他嵌入式設備上運行時，由于計算資源受限，往往難以保持同等質(zhì)量的語音輸出。此外，金融行業(yè)對數(shù)據(jù)安全和隱私保護要求極高，傳統(tǒng)的tts方案通常依賴云端計算，這可能增加用戶數(shù)據(jù)泄露的風險。由于語音生成涉及敏感信息，當前基于云端的tts方案難以完全滿足金融業(yè)務對隱私和合規(guī)性的嚴格要求。

3、在無障礙服務領域，文本轉(zhuǎn)語音(tts)技術(shù)被廣泛應用于為視障人士、閱讀障礙人群和老年用戶提供語音輔助。然而，現(xiàn)有的tts系統(tǒng)在實際應用中仍然面臨諸多挑戰(zhàn)。主流的tts解決方案，如google?tts、amazon?polly、microsoftazure?tts以及開源系統(tǒng)(如tacotron、fastspeech)，盡管在語音合成質(zhì)量方面已達到較高水平，但在部署于資源受限設備或?qū)崟r交互場景時仍存在以下不足之處。首先，當前高質(zhì)量tts模型通常依賴大規(guī)模神經(jīng)網(wǎng)絡，參數(shù)量龐大，計算需求高，難以在移動設備或嵌入式終端上高效運行。這使得設備端的實時語音生成受到極大限制，難以滿足低功耗、高響應速度的應用需求。此外，許多端到端tts系統(tǒng)在推理過程中仍然依賴逐步解碼或復雜的后處理步驟，導致系統(tǒng)響應速度較慢，無法提供足夠流暢的交互體驗。對于需要即時反饋的語音輔助系統(tǒng)而言，這種延遲可能影響用戶體驗，甚至降低系統(tǒng)的可用性。同時，現(xiàn)有tts模型通常針對大規(guī)模訓練數(shù)據(jù)進行優(yōu)化，但在適應低資源環(huán)境時存在穩(wěn)定性不足的問題。當部署至不同類型的終端設備或面臨復雜環(huán)境(如背景噪聲、設備計算能力差異)時，合成語音的質(zhì)量可能下降，影響無障礙用戶的語音理解和信息獲取。此外，高性能tts系統(tǒng)的計算和存儲需求較高，不僅增加了云端計算的能耗和成本，也限制了大規(guī)模推廣的可行性，使得低成本、低功耗的無障礙應用難以普及。

技術(shù)實現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種基于知識蒸餾的文本轉(zhuǎn)語音方法、裝置、設備及存儲介質(zhì)，旨在解決現(xiàn)有文本轉(zhuǎn)語音技術(shù)模型龐大、適配性差且能耗高，難以在低資源環(huán)境下實現(xiàn)高效、低延遲的語音生成的技術(shù)問題。

2、為實現(xiàn)上述目的，本發(fā)明提供一種基于知識蒸餾的文本轉(zhuǎn)語音方法，包括：

3、對輸入文本進行標準化處理，生成標準文本序列；

4、通過輕量化文本編碼器對所述標準文本序列進行編碼，生成文本隱向量；

5、通過非自回歸聲學特征預測模塊將所述文本隱向量映射為學生聲學特征序列；

6、通過預訓練的教師模型對所述標準文本序列進行編碼和聲學特征預測處理，生成教師聲學特征序列；

7、通過知識蒸餾模塊確定所述學生聲學特征序列與所述教師聲學特征序列之間的對齊損失；

8、根據(jù)所述對齊損失對所述輕量化文本編碼器和所述非自回歸聲學特征預測模塊進行結(jié)構(gòu)化剪枝處理；

9、對剪枝處理后的輕量化文本編碼器和非自回歸聲學特征預測模塊進行參數(shù)量化處理；

10、通過參數(shù)量化處理后的輕量化文本編碼器對所述標準文本序列進行編碼，生成壓縮文本隱向量；

11、通過參數(shù)量化處理后的非自回歸聲學特征預測模塊將所述壓縮文本隱向量映射為優(yōu)化聲學特征序列；

12、通過聲碼器將所述優(yōu)化聲學特征序列轉(zhuǎn)換為語音波形。

13、進一步地，為實現(xiàn)上述目的，本發(fā)明提供一種基于知識蒸餾的文本轉(zhuǎn)語音裝置，包括：

14、文本預處理模塊，用于對輸入文本進行標準化處理，生成標準文本序列；

15、輕量化文本編碼模塊，用于通過輕量化文本編碼器對所述標準文本序列進行編碼，生成文本隱向量；

16、非自回歸聲學特征預測模塊，用于通過非自回歸聲學特征預測模塊將所述文本隱向量映射為學生聲學特征序列；

17、教師模型模塊，用于通過預訓練的教師模型對所述標準文本序列進行編碼和聲學特征預測處理，生成教師聲學特征序列；

18、知識蒸餾模塊，用于通過知識蒸餾模塊確定所述學生聲學特征序列與所述教師聲學特征序列之間的對齊損失；

19、結(jié)構(gòu)化剪枝模塊，用于根據(jù)所述對齊損失對所述輕量化文本編碼器和所述非自回歸聲學特征預測模塊進行結(jié)構(gòu)化剪枝處理；

20、參數(shù)量化模塊，用于對剪枝處理后的輕量化文本編碼器和非自回歸聲學特征預測模塊進行參數(shù)量化處理；

21、量化后的輕量化文本編碼模塊，用于通過參數(shù)量化處理后的輕量化文本編碼器對所述標準文本序列進行編碼，生成壓縮文本隱向量；

22、量化后的非自回歸聲學特征預測模塊，用于通過參數(shù)量化處理后的非自回歸聲學特征預測模塊將所述壓縮文本隱向量映射為優(yōu)化聲學特征序列；

23、聲碼器模塊，用于通過聲碼器將所述優(yōu)化聲學特征序列轉(zhuǎn)換為語音波形。

24、進一步地，為實現(xiàn)上述目的，本發(fā)明還提供一種計算機設備，所述計算機設備包括存儲器、處理器以及存儲至所述存儲器上并可在所述處理器上運行的基于知識蒸餾的文本轉(zhuǎn)語音程序，所述基于知識蒸餾的文本轉(zhuǎn)語音程序被所述處理器執(zhí)行時實現(xiàn)如上述所述的基于知識蒸餾的文本轉(zhuǎn)語音方法的步驟。

25、進一步地，為實現(xiàn)上述目的，本發(fā)明還提供一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有基于知識蒸餾的文本轉(zhuǎn)語音程序，所述基于知識蒸餾的文本轉(zhuǎn)語音程序被處理器執(zhí)行時實現(xiàn)如上所述的基于知識蒸餾的文本轉(zhuǎn)語音方法的步驟。

26、有益效果：本發(fā)明涉及語音處理技術(shù)領域，可應用于醫(yī)療健康、金融科技及無障礙服務領域等業(yè)務場景中，公開了一種基于知識蒸餾的文本轉(zhuǎn)語音方法，包括：對輸入文本進行標準化處理，生成標準文本序列；通過輕量化文本編碼器對標準文本序列進行編碼，生成文本隱向量；通過非自回歸聲學特征預測模塊將文本隱向量映射為學生聲學特征序列；預訓練的教師模型對標準文本序列進行編碼和聲學特征預測處理，生成教師聲學特征序列；知識蒸餾模塊確定學生聲學特征序列與教師聲學特征序列之間的對齊損失；根據(jù)對齊損失對輕量化文本編碼器和非自回歸聲學特征預測模塊進行結(jié)構(gòu)化剪枝處理；對剪枝處理后的輕量化文本編碼器和非自回歸聲學特征預測模塊進行參數(shù)量化處理；參數(shù)量化處理后的輕量化文本編碼器對標準文本序列進行編碼，生成壓縮文本隱向量；參數(shù)量化處理后的非自回歸聲學特征預測模塊將壓縮文本隱向量映射為優(yōu)化聲學特征序列；聲碼器將優(yōu)化聲學特征序列轉(zhuǎn)換為語音波形。本發(fā)明通過知識蒸餾、結(jié)構(gòu)化剪枝和參數(shù)量化，在保持語音生成質(zhì)量的同時，有效減少模型體積和計算開銷。通過非自回歸聲學特征預測提高推理速度，降低語音生成延遲。優(yōu)化的輕量化文本編碼器和輕量化聲碼器提升跨設備適配性，使得tts系統(tǒng)能夠在資源受限環(huán)境下實現(xiàn)高效、低功耗、實時語音合成，滿足無障礙服務、金融科技、醫(yī)療健康等領域?qū)Φ脱舆t、高質(zhì)量語音輸出的需求。