本發(fā)明涉及語(yǔ)音交互領(lǐng)域，特別涉及一種用于車(chē)輛語(yǔ)音交互的大語(yǔ)言模型的訓(xùn)練方法、語(yǔ)音交互方法、服務(wù)器和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、相關(guān)技術(shù)中，車(chē)載助手通過(guò)多個(gè)串行模型分別對(duì)用戶語(yǔ)音請(qǐng)求進(jìn)行槽位提取處理、意圖識(shí)別處理和槽位參數(shù)填充處理，以理解并滿足用戶需求。然而，包括多個(gè)串行模型的車(chē)載助手需要大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練成本大。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種用于車(chē)輛語(yǔ)音交互的大語(yǔ)言模型的訓(xùn)練方法、語(yǔ)音交互方法、服務(wù)器和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

2、本技術(shù)實(shí)施方式提供一種用于車(chē)輛語(yǔ)音交互的大語(yǔ)言模型的訓(xùn)練方法，所述方法包括：

3、獲取車(chē)輛知識(shí)信息，所述車(chē)輛知識(shí)信息包括車(chē)輛功能點(diǎn)的功能點(diǎn)信息及所述車(chē)輛功能點(diǎn)之間的關(guān)聯(lián)信息；

4、基于預(yù)設(shè)掩碼語(yǔ)言模型，根據(jù)所述車(chē)輛知識(shí)信息，生成第一訓(xùn)練數(shù)據(jù)；

5、根據(jù)所述第一訓(xùn)練數(shù)據(jù)對(duì)基座模型進(jìn)行訓(xùn)練，以得到所述大語(yǔ)言模型。

6、如此，服務(wù)器獲取車(chē)輛知識(shí)信息，車(chē)輛知識(shí)信息包括車(chē)輛功能點(diǎn)的功能點(diǎn)信息及車(chē)輛功能點(diǎn)之間的關(guān)聯(lián)信息。接著，基于預(yù)設(shè)掩碼語(yǔ)言模型，服務(wù)器根據(jù)車(chē)輛知識(shí)信息，生成第一訓(xùn)練數(shù)據(jù)。最后，服務(wù)器根據(jù)第一訓(xùn)練數(shù)據(jù)對(duì)基座模型進(jìn)行訓(xùn)練，以得到大語(yǔ)言模型。這樣，根據(jù)生成的第一訓(xùn)練數(shù)據(jù)對(duì)基座模型進(jìn)行增量預(yù)訓(xùn)練，提升大語(yǔ)言模型理解能力，使模型無(wú)需標(biāo)注數(shù)據(jù)，也能準(zhǔn)確地理解用戶指令為用戶提供智能便捷的交互體驗(yàn)，從而降低模型訓(xùn)練的成本。

7、在某些實(shí)施方式中，所述基于預(yù)設(shè)掩碼語(yǔ)言模型，根據(jù)所述車(chē)輛知識(shí)信息，生成所述第一訓(xùn)練數(shù)據(jù)，包括：

8、基于所述預(yù)設(shè)掩碼語(yǔ)言模型，對(duì)所述車(chē)輛知識(shí)信息進(jìn)行隨機(jī)掩蓋處理，生成所述第一訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)包括所述車(chē)輛知識(shí)信息和標(biāo)記化知識(shí)信息，所述標(biāo)記化知識(shí)信息為部分字詞被掩蓋的車(chē)輛知識(shí)信息。

9、如此，基于預(yù)設(shè)掩碼語(yǔ)言模型，服務(wù)器對(duì)車(chē)輛知識(shí)信息進(jìn)行隨機(jī)掩蓋處理，生成第一訓(xùn)練數(shù)據(jù)，第一訓(xùn)練數(shù)據(jù)包括車(chē)輛知識(shí)信息和標(biāo)記化知識(shí)信息，標(biāo)記化知識(shí)信息為部分字詞被掩蓋的車(chē)輛知識(shí)信息。這樣，通過(guò)利用對(duì)車(chē)輛知識(shí)信息進(jìn)行隨機(jī)掩蓋生成的第一訓(xùn)練數(shù)據(jù)對(duì)基座模型進(jìn)行訓(xùn)練，基座模型可以學(xué)習(xí)到豐富的車(chē)輛知識(shí)，并準(zhǔn)確地理解用戶的指令意圖。通過(guò)隨機(jī)掩蓋處理，可以幫助基座模型學(xué)習(xí)到詞語(yǔ)之間的關(guān)系和上下文信息，從而提高基座模型的語(yǔ)言理解能力。

10、在某些實(shí)施方式中，所述方法還包括：

11、配置第一提示詞；

12、根據(jù)所述第一提示詞和預(yù)配置的第二訓(xùn)練數(shù)據(jù)，對(duì)所述大語(yǔ)言模型進(jìn)行訓(xùn)練進(jìn)行監(jiān)督微調(diào)訓(xùn)練。

13、如此，服務(wù)器配置第一提示詞。接著，服務(wù)器根據(jù)第一提示詞和預(yù)配置的第二訓(xùn)練數(shù)據(jù)，對(duì)大語(yǔ)言模型進(jìn)行訓(xùn)練進(jìn)行監(jiān)督微調(diào)訓(xùn)練。這樣，通過(guò)第二訓(xùn)練數(shù)據(jù)對(duì)監(jiān)督微調(diào)訓(xùn)練，能夠強(qiáng)化大語(yǔ)言模型對(duì)跨領(lǐng)域上下文的理解能力，提升大語(yǔ)言模型的跨垂域多輪理解能力。

14、在某些實(shí)施方式中，所述第二訓(xùn)練數(shù)據(jù)包括單輪對(duì)話數(shù)據(jù)和多輪對(duì)話數(shù)據(jù)，所述根據(jù)所述第一提示詞和預(yù)配置的第二訓(xùn)練數(shù)據(jù)，對(duì)所述大語(yǔ)言模型進(jìn)行訓(xùn)練進(jìn)行監(jiān)督微調(diào)訓(xùn)練，包括：

15、基于所述第一提示詞，根據(jù)所述單輪對(duì)話數(shù)據(jù)對(duì)所述大語(yǔ)言模型進(jìn)行意圖理解訓(xùn)練；

16、基于所述第一提示詞，根據(jù)所述多輪對(duì)話數(shù)據(jù)對(duì)所述大語(yǔ)言模型進(jìn)行語(yǔ)義理解訓(xùn)練。

17、如此，第二訓(xùn)練數(shù)據(jù)包括單輪對(duì)話數(shù)據(jù)和多輪對(duì)話數(shù)據(jù)?；诘谝惶崾驹~，根據(jù)第二訓(xùn)練數(shù)據(jù)中的單輪對(duì)話數(shù)據(jù)對(duì)大語(yǔ)言模型進(jìn)行意圖理解訓(xùn)練。接著，基于第一提示詞，服務(wù)器根據(jù)第二訓(xùn)練數(shù)據(jù)中的多輪對(duì)話數(shù)據(jù)對(duì)大語(yǔ)言模型進(jìn)行語(yǔ)義理解訓(xùn)練。這樣，通過(guò)單輪對(duì)話數(shù)據(jù)訓(xùn)練，大語(yǔ)言模型可以學(xué)習(xí)到用戶意圖和應(yīng)用接口調(diào)用之間的對(duì)應(yīng)關(guān)系，從而提高意圖理解的準(zhǔn)確率。通過(guò)多輪對(duì)話數(shù)據(jù)訓(xùn)練，大語(yǔ)言模型可以學(xué)習(xí)到上下文信息對(duì)用戶意圖的影響，從而增強(qiáng)語(yǔ)義理解能力，準(zhǔn)確地理解用戶的真實(shí)意圖。

18、本技術(shù)實(shí)施方式提供一種語(yǔ)音交互方法，所述語(yǔ)音交互方法基于上述訓(xùn)練方法訓(xùn)練得到的大語(yǔ)言模型，所述方法包括：

19、獲取當(dāng)前語(yǔ)音請(qǐng)求；

20、基于所述大語(yǔ)言模型，根據(jù)所述當(dāng)前語(yǔ)音請(qǐng)求，確定與所述當(dāng)前語(yǔ)音請(qǐng)求相對(duì)應(yīng)的車(chē)輛控制指令；

21、向車(chē)輛發(fā)送所述車(chē)輛控制指令，以使所述車(chē)輛根據(jù)所述車(chē)輛控制指令完成所述語(yǔ)音交互。

22、如此，獲取當(dāng)前語(yǔ)音請(qǐng)求。接著，基于大語(yǔ)言模型，服務(wù)器根據(jù)當(dāng)前語(yǔ)音請(qǐng)求，確定與當(dāng)前語(yǔ)音請(qǐng)求相對(duì)應(yīng)的車(chē)輛控制指令。最后，向車(chē)輛發(fā)送車(chē)輛控制指令，以使車(chē)輛根據(jù)車(chē)輛控制指令完成語(yǔ)音交互。這樣，大語(yǔ)言模型可以理解用戶的多輪對(duì)話內(nèi)容，并根據(jù)上下文信息實(shí)現(xiàn)對(duì)用戶語(yǔ)音請(qǐng)求的意圖理解和語(yǔ)義理解，從而準(zhǔn)確地理解用戶的意圖，并將用戶的意圖轉(zhuǎn)換為車(chē)輛控制指令，從而實(shí)現(xiàn)了語(yǔ)音控制車(chē)輛功能和自然流暢的多輪交互，增強(qiáng)了用戶體驗(yàn)。

23、在某些實(shí)施方式中，所述大語(yǔ)言模型配置有第二提示詞，所述基于所述大語(yǔ)言模型，根據(jù)所述當(dāng)前語(yǔ)音請(qǐng)求，確定與所述當(dāng)前語(yǔ)音請(qǐng)求相對(duì)應(yīng)的車(chē)輛控制指令，包括：

24、基于所述第二提示詞，引導(dǎo)所述大語(yǔ)言模型根據(jù)所述當(dāng)前語(yǔ)音請(qǐng)求和歷史語(yǔ)音請(qǐng)求，確定所述車(chē)輛控制指令。

25、如此，基于第二提示詞，服務(wù)器引導(dǎo)大語(yǔ)言模型根據(jù)當(dāng)前語(yǔ)音請(qǐng)求和歷史語(yǔ)音請(qǐng)求，確定車(chē)輛控制指令。這樣，第二提示詞能夠引導(dǎo)大語(yǔ)言模型按照預(yù)先設(shè)計(jì)好的思考過(guò)程進(jìn)行推理，從而準(zhǔn)確地理解用戶的意圖，并輸出相應(yīng)的車(chē)輛控制指令。并且，第二提示詞能夠幫助大語(yǔ)言模型準(zhǔn)確地理解上下文信息，從而提高語(yǔ)義理解能力，實(shí)現(xiàn)自然流暢的多輪交互。

26、在某些實(shí)施方式中，所述基于所述第二提示詞，引導(dǎo)所述大語(yǔ)言模型根據(jù)所述當(dāng)前語(yǔ)音請(qǐng)求和歷史語(yǔ)音請(qǐng)求，確定所述車(chē)輛控制指令，包括：

27、基于所述第二提示詞，引導(dǎo)所述大語(yǔ)言模型根據(jù)所述當(dāng)前語(yǔ)音請(qǐng)求和所述歷史語(yǔ)音請(qǐng)求，確定目標(biāo)語(yǔ)音請(qǐng)求；

28、根據(jù)所述目標(biāo)語(yǔ)音請(qǐng)求，確定目標(biāo)意圖；

29、根據(jù)所述目標(biāo)意圖，確定自然語(yǔ)言處理結(jié)果；

30、根據(jù)所述自然語(yǔ)言處理結(jié)果，確定所述車(chē)輛控制指令。

31、如此，基于第二提示詞，服務(wù)器引導(dǎo)大語(yǔ)言模型根據(jù)當(dāng)前語(yǔ)音請(qǐng)求和歷史語(yǔ)音請(qǐng)求，確定目標(biāo)語(yǔ)音請(qǐng)求。接著，服務(wù)器根據(jù)目標(biāo)語(yǔ)音請(qǐng)求，確定目標(biāo)意圖。然后，服務(wù)器根據(jù)目標(biāo)意圖，確定自然語(yǔ)言處理結(jié)果。最后，服務(wù)器根據(jù)自然語(yǔ)言處理結(jié)果，確定車(chē)輛控制指令。這樣，第二提示詞能夠引導(dǎo)大語(yǔ)言模型按照預(yù)先設(shè)計(jì)好的思考過(guò)程進(jìn)行推理，從而準(zhǔn)確地理解用戶的意圖，并輸出相應(yīng)的車(chē)輛控制指令。并且，第二提示詞能夠幫助大語(yǔ)言模型準(zhǔn)確地理解上下文信息，從而提高語(yǔ)義理解能力，實(shí)現(xiàn)自然流暢的多輪交互。

32、在某些實(shí)施方式中，所述基于所述第二提示詞，引導(dǎo)所述大語(yǔ)言模型根據(jù)所述當(dāng)前語(yǔ)音請(qǐng)求和所述歷史語(yǔ)音請(qǐng)求，確定目標(biāo)語(yǔ)音請(qǐng)求，包括：

33、在所述當(dāng)前語(yǔ)音請(qǐng)求和所述歷史語(yǔ)音請(qǐng)求相關(guān)聯(lián)的情況下，根據(jù)所述歷史語(yǔ)音請(qǐng)求對(duì)所述當(dāng)前語(yǔ)音請(qǐng)求進(jìn)行補(bǔ)全處理，確定所述目標(biāo)語(yǔ)音請(qǐng)求；

34、在所述當(dāng)前語(yǔ)音請(qǐng)求和所述歷史語(yǔ)音請(qǐng)求不關(guān)聯(lián)的情況下，將所述當(dāng)前語(yǔ)音請(qǐng)求確定為所述目標(biāo)語(yǔ)音請(qǐng)求。

35、如此，在當(dāng)前語(yǔ)音請(qǐng)求和歷史語(yǔ)音請(qǐng)求相關(guān)聯(lián)的情況下，服務(wù)器根據(jù)歷史語(yǔ)音請(qǐng)求對(duì)當(dāng)前語(yǔ)音請(qǐng)求進(jìn)行補(bǔ)全處理，確定目標(biāo)語(yǔ)音請(qǐng)求?；蛘呤窃诋?dāng)前語(yǔ)音請(qǐng)求和歷史語(yǔ)音請(qǐng)求不關(guān)聯(lián)的情況下，服務(wù)器將當(dāng)前語(yǔ)音請(qǐng)求確定為目標(biāo)語(yǔ)音請(qǐng)求。這樣，通過(guò)補(bǔ)全當(dāng)前語(yǔ)音請(qǐng)求，可以準(zhǔn)確地理解用戶的意圖，避免歧義和誤解。并且，通過(guò)關(guān)聯(lián)歷史語(yǔ)音請(qǐng)求，可以實(shí)現(xiàn)多輪交互，使對(duì)話流暢自然，從而提升用戶體驗(yàn)。

36、在某些實(shí)施方式中，所述根據(jù)所述目標(biāo)意圖，確定自然語(yǔ)言處理結(jié)果，包括：

37、對(duì)所述目標(biāo)語(yǔ)音請(qǐng)求進(jìn)行槽位識(shí)別，確定槽位識(shí)別結(jié)果；

38、根據(jù)所述槽位識(shí)別結(jié)果和所述目標(biāo)意圖進(jìn)行應(yīng)用程序接口預(yù)測(cè)，確定預(yù)測(cè)應(yīng)用接口；

39、根據(jù)所述槽位識(shí)別結(jié)果和所述預(yù)測(cè)應(yīng)用接口、選擇所述預(yù)測(cè)應(yīng)用接口執(zhí)行應(yīng)用程序接口參數(shù)填充，確定所述自然語(yǔ)言處理結(jié)果。

40、如此，服務(wù)器對(duì)目標(biāo)語(yǔ)音請(qǐng)求進(jìn)行槽位識(shí)別，確定槽位識(shí)別結(jié)果。接著，服務(wù)器根據(jù)槽位識(shí)別結(jié)果和目標(biāo)意圖進(jìn)行應(yīng)用程序接口預(yù)測(cè)，確定預(yù)測(cè)應(yīng)用接口。最后，服務(wù)器根據(jù)槽位識(shí)別結(jié)果和預(yù)測(cè)應(yīng)用接口、選擇預(yù)測(cè)應(yīng)用接口執(zhí)行應(yīng)用程序接口參數(shù)填充，確定自然語(yǔ)言處理結(jié)果。這樣，根據(jù)槽位識(shí)別的結(jié)果，選擇預(yù)測(cè)到的應(yīng)用程序接口執(zhí)行應(yīng)用程序接口參數(shù)填充，服務(wù)器能夠理解和響應(yīng)目標(biāo)語(yǔ)音請(qǐng)求，直接輸出執(zhí)行結(jié)果下發(fā)至車(chē)輛完成語(yǔ)音交互，從而可以降低車(chē)載系統(tǒng)的延時(shí)，提升對(duì)于用戶指令的響應(yīng)速度，提供便捷自然的交互體驗(yàn)。

41、本技術(shù)實(shí)施方式提供了一種服務(wù)器，所述服務(wù)器包括處理器和存儲(chǔ)器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述的方法。

42、本技術(shù)實(shí)施方式提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行的情況下，實(shí)現(xiàn)如上述方法的步驟。

43、本技術(shù)的實(shí)施方式的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本技術(shù)的實(shí)施方式的實(shí)踐了解到。