本發(fā)明涉及醫(yī)學(xué)操作指引，具體涉及基于多模態(tài)融合的手術(shù)操作引導(dǎo)方法、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、手術(shù)導(dǎo)航是一種利用計(jì)算機(jī)、精密測(cè)量?jī)x器和圖像處理等技術(shù)來(lái)引導(dǎo)外科醫(yī)生進(jìn)行手術(shù)操作的技術(shù)，可以幫助外科醫(yī)生精確定位和追蹤手術(shù)器械在空間中的位置，以提高手術(shù)的安全性、精確性，幫助醫(yī)生開展手術(shù)，目前廣泛應(yīng)用在神經(jīng)外科、骨科、心臟外科、腫瘤介入治療、口腔頜面外科、眼科、耳鼻喉科等領(lǐng)域。手術(shù)導(dǎo)航技術(shù)常常被比喻為gps導(dǎo)航，就像駕駛者可以在地圖上看到自己的位置一樣，手術(shù)導(dǎo)航可以準(zhǔn)確地引導(dǎo)醫(yī)生到病灶位置，實(shí)現(xiàn)精準(zhǔn)的手術(shù)操作。

2、因此，在當(dāng)前的手術(shù)操作指引中仍然需要人為參與，無(wú)法直接性獲取后續(xù)操作的指引數(shù)據(jù)，即后續(xù)操作的手術(shù)機(jī)器人位姿和器械用力情況，需要進(jìn)行術(shù)中分析，導(dǎo)致術(shù)中暫停，提升危險(xiǎn)系數(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供基于多模態(tài)融合的手術(shù)操作引導(dǎo)方法，以解決現(xiàn)有技術(shù)中仍然需要人為參與，無(wú)法直接性獲取后續(xù)操作的指引數(shù)據(jù)，需要進(jìn)行術(shù)中分析，導(dǎo)致術(shù)中暫停，提升危險(xiǎn)系數(shù)的技術(shù)問(wèn)題。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明具體提供下述技術(shù)方案：

3、一種基于多模態(tài)融合的手術(shù)操作引導(dǎo)方法，包括以下步驟：

4、將在手術(shù)全流程周期中，記錄各流程節(jié)點(diǎn)處手術(shù)機(jī)器人的標(biāo)準(zhǔn)位姿信息，力覺(jué)傳感器反饋的器械標(biāo)準(zhǔn)力信息，并將標(biāo)準(zhǔn)位姿信息和器械標(biāo)準(zhǔn)力信息組合為用于實(shí)時(shí)手術(shù)操作的標(biāo)準(zhǔn)多源信息；

5、在各流程節(jié)點(diǎn)處的所述標(biāo)準(zhǔn)多源信息中進(jìn)行多模態(tài)特征提取，得到各流程節(jié)點(diǎn)處的所述標(biāo)準(zhǔn)多源信息的多模態(tài)特征；

6、將各流程節(jié)點(diǎn)處的所述標(biāo)準(zhǔn)多源信息的多模態(tài)特征，通過(guò)lstm模型進(jìn)行雙向時(shí)序預(yù)測(cè)訓(xùn)練，得到手術(shù)指引模型；

7、利用手術(shù)指引模型根據(jù)由手術(shù)機(jī)器人的實(shí)時(shí)位姿信息，力覺(jué)傳感器反饋的器械實(shí)時(shí)力信息構(gòu)成的實(shí)時(shí)多源信息，預(yù)測(cè)出手術(shù)機(jī)器人的下一時(shí)刻位姿信息，力覺(jué)傳感器反饋的器械下一時(shí)刻力信息。

8、作為本發(fā)明的一種優(yōu)選方案，所述多模態(tài)特征的提取方法包括：

9、利用kl散度量化手術(shù)全流程周期中相鄰兩個(gè)流程節(jié)點(diǎn)中后置流程節(jié)點(diǎn)多維信息與前置流程節(jié)點(diǎn)多維信息之間的差異性，得到后置流程節(jié)點(diǎn)多維信息中各類信息與前置流程節(jié)點(diǎn)多維信息中各類之間的kl散度值；

10、將后置流程節(jié)點(diǎn)多維信息中各類信息與前置流程節(jié)點(diǎn)多維信息中各類之間的kl散度值，作為標(biāo)準(zhǔn)多源信息中各類信息的時(shí)間尺度權(quán)重；

11、所述時(shí)間尺度權(quán)重為：

12、；

13、；

14、；

15、式中，為標(biāo)準(zhǔn)多源信息中第i類信息在第t個(gè)流程節(jié)點(diǎn)處的時(shí)間尺度權(quán)重，為在第t個(gè)流程節(jié)點(diǎn)處標(biāo)準(zhǔn)多源信息中第i類信息，為在第t-1個(gè)流程節(jié)點(diǎn)處標(biāo)準(zhǔn)多源信息中第i類信息，為和之間的kl散度，為和之間的kl散度；

16、將標(biāo)準(zhǔn)多源信息中第i類信息在第t個(gè)流程節(jié)點(diǎn)處的時(shí)間尺度權(quán)重加權(quán)至在第t個(gè)流程節(jié)點(diǎn)處標(biāo)準(zhǔn)多源信息中第i類信息，得到在第t個(gè)流程節(jié)點(diǎn)處的多源時(shí)間組合信息，n為標(biāo)準(zhǔn)多源信息中信息類別總數(shù)量；

17、將第t個(gè)流程節(jié)點(diǎn)處的多源時(shí)間組合信息，通過(guò)cnn特征提取網(wǎng)絡(luò)，得到第t個(gè)流程節(jié)點(diǎn)處的多源時(shí)間組合信息的空間特征；

18、將第t個(gè)流程節(jié)點(diǎn)處的多源時(shí)間組合信息的空間特征經(jīng)過(guò)自注意力機(jī)制處理，得到第t個(gè)流程節(jié)點(diǎn)處的多模態(tài)特征；

19、多模態(tài)特征為：

20、；

21、其中，；

22、；

23、；

24、式中，、和分別為注意力機(jī)制中的查詢query、鍵key和值value，為的維度，為取中間值運(yùn)算符，為維度提取運(yùn)算符，為第t個(gè)流程節(jié)點(diǎn)處的多源時(shí)間組合信息中第i類信息的空間特征，為第t個(gè)流程節(jié)點(diǎn)處的標(biāo)準(zhǔn)多源信息中第i類信息的多模態(tài)特征，t為轉(zhuǎn)置運(yùn)算符。

25、作為本發(fā)明的一種優(yōu)選方案，所述手術(shù)指引模型的構(gòu)建方法包括：

26、將手術(shù)全流程周期中各流程節(jié)點(diǎn)處的標(biāo)準(zhǔn)多維信息以流程節(jié)點(diǎn)進(jìn)行序列化，得到標(biāo)準(zhǔn)多維信息序列；

27、將標(biāo)準(zhǔn)多維信息的多模態(tài)特征作為第一lstm網(wǎng)絡(luò)的輸入量，將位于多模態(tài)特征下一流程節(jié)點(diǎn)處的標(biāo)準(zhǔn)多維信息作為第一lstm網(wǎng)絡(luò)的輸出量；

28、將標(biāo)準(zhǔn)多維信息作為第二lstm網(wǎng)絡(luò)的輸入量，將位于標(biāo)準(zhǔn)多維信息上一流程節(jié)點(diǎn)處的標(biāo)準(zhǔn)多維信息作為第二lstm網(wǎng)絡(luò)的輸出量；

29、以第一lstm網(wǎng)絡(luò)的輸出量和真值之間的預(yù)測(cè)性損失，以及第二lstm網(wǎng)絡(luò)的輸出量和第一lstm網(wǎng)絡(luò)的輸入量之間多維信息循環(huán)一致性損失的組合損失，對(duì)第一lstm網(wǎng)絡(luò)和第二lstm網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

30、將訓(xùn)練完成后的第一lstm網(wǎng)絡(luò)作為所述手術(shù)指引模型；

31、其中，所述第一lstm網(wǎng)絡(luò)為：

32、=lstm1()；

33、式中，為在第t+1個(gè)流程節(jié)點(diǎn)處標(biāo)準(zhǔn)多源信息中第i類信息，為第t個(gè)流程節(jié)點(diǎn)處的標(biāo)準(zhǔn)多源信息中第i類信息的多模態(tài)特征，lstm1為lstm網(wǎng)絡(luò)；

34、第二lstm網(wǎng)絡(luò)為：

35、=lstm2()；

36、式中，為在第t個(gè)流程節(jié)點(diǎn)處標(biāo)準(zhǔn)多源信息中第i類信息，為在第t+1個(gè)流程節(jié)點(diǎn)處標(biāo)準(zhǔn)多源信息中第i類信息，lstm2為lstm網(wǎng)絡(luò)，n為標(biāo)準(zhǔn)多源信息中信息類別總數(shù)量。

37、作為本發(fā)明的一種優(yōu)選方案，所述組合損失的構(gòu)建方法包括：

38、確定第一lstm網(wǎng)絡(luò)和第二lstm網(wǎng)絡(luò)的輸出量和真值之間的預(yù)測(cè)性損失為：

39、；

40、式中，為預(yù)測(cè)性損失，為第一lstm網(wǎng)絡(luò)輸出的，為的真值，為第二lstm網(wǎng)絡(luò)輸出的，為的真值，為l2范數(shù)式，為l2范數(shù)式，m為手術(shù)全流程周期中流程節(jié)點(diǎn)總數(shù)量，n為標(biāo)準(zhǔn)多源信息中信息類別總數(shù)量；

41、確定第二lstm網(wǎng)絡(luò)的輸出量和第一lstm網(wǎng)絡(luò)的輸入量之間多維信息循環(huán)一致性損失為：

42、；

43、式中，為循環(huán)一致性損失，為第一lstm網(wǎng)絡(luò)的輸入量所對(duì)應(yīng)的，為第二lstm網(wǎng)絡(luò)輸出的，為l2范數(shù)式，m為手術(shù)全流程周期中流程節(jié)點(diǎn)總數(shù)量，n為標(biāo)準(zhǔn)多源信息中信息類別總數(shù)量；

44、將和組合為組合損失為：

45、；

46、式中，為組合損失，為均衡的超參數(shù)。

47、作為本發(fā)明的一種優(yōu)選方案，將各流程節(jié)點(diǎn)處標(biāo)準(zhǔn)位姿信息進(jìn)行歸一化處理，以及將各流程節(jié)點(diǎn)處器械標(biāo)準(zhǔn)力信息進(jìn)行歸一化處理。

48、作為本發(fā)明的一種優(yōu)選方案，所述第一lstm網(wǎng)絡(luò)和第二lstm網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)相同。

49、作為本發(fā)明的一種優(yōu)選方案，所述超參數(shù)為：

50、；

51、式中，為第二lstm網(wǎng)絡(luò)輸出的，為的真值。

52、作為本發(fā)明的一種優(yōu)選方案，將實(shí)時(shí)多源信息與各流程節(jié)點(diǎn)處的標(biāo)準(zhǔn)多源信息進(jìn)行歸一化處理。

53、作為本發(fā)明的一種優(yōu)選方案，本發(fā)明提供了一種基于多模態(tài)融合的手術(shù)操作引導(dǎo)系統(tǒng)，應(yīng)用于一種基于多模態(tài)融合的手術(shù)操作引導(dǎo)方法，系統(tǒng)包括：

54、數(shù)據(jù)采集單元，用于將在手術(shù)全流程周期中，記錄各流程節(jié)點(diǎn)處手術(shù)機(jī)器人的標(biāo)準(zhǔn)位姿信息，力覺(jué)傳感器反饋的器械標(biāo)準(zhǔn)力信息，并將標(biāo)準(zhǔn)位姿信息和器械標(biāo)準(zhǔn)力信息組合為用于實(shí)時(shí)手術(shù)操作的標(biāo)準(zhǔn)多源信息，以及獲取由手術(shù)機(jī)器人的實(shí)時(shí)位姿信息，力覺(jué)傳感器反饋的器械實(shí)時(shí)力信息構(gòu)成的實(shí)時(shí)多源信息；

55、特征處理單元，用于在各流程節(jié)點(diǎn)處的所述標(biāo)準(zhǔn)多源信息中進(jìn)行多模態(tài)特征提取，得到各流程節(jié)點(diǎn)處的所述標(biāo)準(zhǔn)多源信息的多模態(tài)特征；

56、模型構(gòu)建單元，用于將各流程節(jié)點(diǎn)處的所述標(biāo)準(zhǔn)多源信息的多模態(tài)特征，通過(guò)lstm模型進(jìn)行雙向時(shí)序預(yù)測(cè)訓(xùn)練，得到手術(shù)指引模型；

57、引導(dǎo)預(yù)測(cè)單元，用于利用手術(shù)指引模型根據(jù)由手術(shù)機(jī)器人的實(shí)時(shí)位姿信息，力覺(jué)傳感器反饋的器械實(shí)時(shí)力信息構(gòu)成的實(shí)時(shí)多源信息，預(yù)測(cè)出手術(shù)機(jī)器人的下一時(shí)刻位姿信息，力覺(jué)傳感器反饋的器械下一時(shí)刻力信息。

58、作為本發(fā)明的一種優(yōu)選方案，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令，當(dāng)處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令時(shí)，實(shí)現(xiàn)如基于多模態(tài)融合的手術(shù)操作引導(dǎo)方法。

59、本發(fā)明與現(xiàn)有技術(shù)相比較具有如下有益效果：

60、本發(fā)明構(gòu)建了手術(shù)指引模型，實(shí)現(xiàn)了根據(jù)由手術(shù)機(jī)器人的實(shí)時(shí)位姿信息，力覺(jué)傳感器反饋的器械實(shí)時(shí)力信息構(gòu)成的實(shí)時(shí)多源信息，預(yù)測(cè)出手術(shù)機(jī)器人的下一時(shí)刻位姿信息，力覺(jué)傳感器反饋的器械下一時(shí)刻力信息，直接性獲取后續(xù)操作的指引數(shù)據(jù)，即后續(xù)操作的手術(shù)機(jī)器人位姿和器械用力情況，無(wú)需術(shù)中暫停，保證了手術(shù)操作的連貫性。