背景技術:
1、許多應用程序,諸如游戲應用程序、交互式應用程序、通信應用程序、多媒體應用程序、視頻會議應用程序、車載信息娛樂應用程序等,使用與應用程序/機器/設備的用戶進行交互和/或與應用程序中的其他動畫角色(例如,非玩家角色(npc))進行交互的動畫角色(animated?character)或數(shù)字化身(avatar)。為了給用戶提供更逼真的體驗,系統(tǒng)可以嘗試在與用戶交互時通過表達情緒來將角色動畫化。例如,當確定動畫角色要輸出給用戶的言語(speech)時,系統(tǒng)還可以確定與動畫角色相關聯(lián)的情緒狀態(tài),諸如基于對該言語的文本的分析。然后可以使用情緒狀態(tài),使得動畫角色以表達該情緒狀態(tài)的方式輸出該言語。例如,用于輸出該言語的動畫角色的語音(voice)可以反映動畫角色的情緒狀態(tài)。
2、然而,通過僅使用言語的文本來確定情緒狀態(tài),系統(tǒng)可能會基于交互的環(huán)境錯誤地確定情緒狀態(tài)。例如,人們可以使用不同的情緒狀態(tài)(諸如,快樂或悲傷)表達相同的文本,諸如“祝你今天過得愉快”。因此,通過僅將文本與情緒狀態(tài)相關聯(lián),然后由動畫角色在輸出與文本相對應的言語時使用該情緒狀態(tài),動畫角色可能會使用不恰當或不準確的情緒狀態(tài)來表達他們的言語,這可能會導致不希望的用戶體驗。此外,通過僅對動畫角色使用設定的情緒狀態(tài),諸如快樂或悲傷,系統(tǒng)可能無法使動畫角色通過言語來表達廣泛的情緒狀態(tài)。例如,人們可能會在不同的時間不同地表達相同的情緒狀態(tài),諸如一個人是否有點高興或非常高興。當不同地表達相同的情緒狀態(tài)時,用戶的言語也可以改變,諸如用戶言語的特性(例如,音調、語速等)。
技術實現(xiàn)思路
1、本公開的實施例涉及用于對話式ai系統(tǒng)和應用程序的在言語中表達情緒。公開了使用一個或更多個機器學習模型來確定與角色正輸出的言語相關聯(lián)的情緒狀態(tài)以及與該情緒狀態(tài)和/或該言語相關聯(lián)的一個或更多個變量的一個或更多個值的系統(tǒng)和方法。例如,該一個或更多個變量可以包括情緒狀態(tài)的強度和/或音高(pitch)、語速、音量、音調(tone)、重音和/或言語的其他屬性。在一些示例中,除言語的文本之外,一個或更多個機器學習模型還可以使用各種類型的輸入來確定情緒狀態(tài)和/或一個或更多個變量的一個或更多個值,諸如表示與用戶相關聯(lián)的信息的用戶數(shù)據(jù)和/或表示與角色相關聯(lián)的信息的角色數(shù)據(jù)。然后,系統(tǒng)和方法可以使角色以至少基于該一個或更多個值來表達情緒狀態(tài)的方式輸出該言語。
2、與常規(guī)系統(tǒng)相反,在實施例中,本系統(tǒng)和方法能夠使用與言語的文本相合作的附加輸入來確定與言語相關聯(lián)的情緒狀態(tài)。如本文更詳細地描述的,通過使用該附加輸入,當前系統(tǒng)可以更好地確定言語的實際情緒狀態(tài)-例如,因為相同的文本可以基于與言語相關聯(lián)的其他環(huán)境與不同的情緒狀態(tài)相關聯(lián)。此外,與常規(guī)系統(tǒng)相反,在一些實施例中,當前系統(tǒng)能夠確定與情緒狀態(tài)和/或言語相關聯(lián)的變量的附加值。如本文更詳細地描述的,通過確定與變量相關聯(lián)的附加值,當前系統(tǒng)能夠將角色動畫化,使角色更好地表達言語中的情緒狀態(tài)。
1.一種方法,包括:
2.如權利要求1所述的方法,進一步包括以下中的至少一個:
3.如權利要求1所述的方法,其中:
4.如權利要求1所述的方法,其中:
5.如權利要求1所述的方法,其中:
6.如權利要求1所述的方法,其中所述第一數(shù)據(jù)包括以下中的至少一個:
7.如權利要求1所述的方法,其中:
8.如權利要求1所述的方法,其中:
9.如權利要求1所述的方法,其中:
10.一種系統(tǒng),包括:
11.如權利要求10所述的系統(tǒng),其中以下中的至少一個:
12.如權利要求10所述的系統(tǒng),其中:
13.如權利要求10所述的系統(tǒng),其中:
14.如權利要求10所述的系統(tǒng),其中:
15.如權利要求10所述的系統(tǒng),其中所述一個或更多個處理單元進一步用于:
16.如權利要求10所述的系統(tǒng),其中所述一個或更多個處理單元進一步用于:
17.如權利要求10所述的系統(tǒng),其中所述一個或更多個處理單元進一步用于使得至少基于所述言語將角色動畫化。
18.如權利要求10所述的系統(tǒng),其中所述系統(tǒng)被包括在以下中的至少一個中:
19.一種處理器,包括:
20.如權利要求19所述的處理器,其中所述系統(tǒng)被包括在以下中的至少一個中: