本技術(shù)屬于計(jì)算機(jī),具體涉及一種媒體數(shù)據(jù)轉(zhuǎn)化方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、隨著短視頻以及直播等行業(yè)的快速發(fā)展,媒體平臺(tái)作為內(nèi)容分發(fā)和行為互動(dòng)的重要渠道會(huì)獲取大量的媒體數(shù)據(jù),如視頻內(nèi)容、文字描述、評(píng)論、點(diǎn)贊數(shù)以及轉(zhuǎn)發(fā)記錄等。為了將媒體數(shù)據(jù)進(jìn)行統(tǒng)一的整合和分析,將不同媒體平臺(tái)的媒體數(shù)據(jù)高效轉(zhuǎn)化為數(shù)據(jù)分析系統(tǒng)的標(biāo)準(zhǔn)數(shù)據(jù)結(jié)構(gòu)和格式已成為行業(yè)的熱點(diǎn)話題。
2、現(xiàn)有技術(shù)中,系統(tǒng)對(duì)媒體數(shù)據(jù)的轉(zhuǎn)化方式通常是根據(jù)預(yù)先寫入系統(tǒng)的硬代碼確定每個(gè)媒體平臺(tái)的待轉(zhuǎn)化數(shù)據(jù)和轉(zhuǎn)化代碼程序,通過媒體接口接收每個(gè)媒體平臺(tái)發(fā)送的數(shù)據(jù),并獲取待轉(zhuǎn)化數(shù)據(jù),基于轉(zhuǎn)化代碼程序?qū)ΥD(zhuǎn)化數(shù)據(jù)進(jìn)行轉(zhuǎn)化。然而現(xiàn)有技術(shù)中的數(shù)據(jù)轉(zhuǎn)換過程是寫死在代碼里的,無法根據(jù)媒體數(shù)據(jù)的變化而靈活地配置對(duì)應(yīng)的轉(zhuǎn)化邏輯,也無法對(duì)轉(zhuǎn)化結(jié)果是否符合系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)格式進(jìn)行校驗(yàn),并且不同系統(tǒng)處理任務(wù)下需要獲取和轉(zhuǎn)化的數(shù)據(jù)并不完全相同,現(xiàn)有技術(shù)基于硬代碼確定待轉(zhuǎn)化數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)化的方式存在轉(zhuǎn)化數(shù)據(jù)量大進(jìn)而導(dǎo)致轉(zhuǎn)化效率低的問題。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例的目的是提供一種媒體數(shù)據(jù)轉(zhuǎn)化方法、裝置、設(shè)備及存儲(chǔ)介質(zhì),解決了現(xiàn)有技術(shù)中存在的轉(zhuǎn)化方式不夠靈活、轉(zhuǎn)化結(jié)果不夠準(zhǔn)確以及轉(zhuǎn)化效率低的問題,通過確定與待處理媒體任務(wù)關(guān)聯(lián)的媒體數(shù)據(jù)字段確定待轉(zhuǎn)化媒體數(shù)據(jù),基于第一預(yù)設(shè)中間件函數(shù)進(jìn)行數(shù)據(jù)轉(zhuǎn)化,基于第二預(yù)設(shè)中間件函數(shù)對(duì)數(shù)據(jù)轉(zhuǎn)化結(jié)果進(jìn)行數(shù)據(jù)合理性校驗(yàn),輸出數(shù)據(jù)轉(zhuǎn)化結(jié)果,可以達(dá)到靈活讀取以及轉(zhuǎn)化媒體數(shù)據(jù)的目的,提高了對(duì)媒體數(shù)據(jù)讀取以及轉(zhuǎn)化的靈活性和效率,同時(shí)能夠?qū)D(zhuǎn)化結(jié)果進(jìn)行合理性校驗(yàn),確保了轉(zhuǎn)化結(jié)果的準(zhǔn)確性。
2、第一方面,本技術(shù)實(shí)施例提供了一種媒體數(shù)據(jù)轉(zhuǎn)化方法,所述方法包括:
3、接收待處理媒體任務(wù),確定與待處理媒體任務(wù)關(guān)聯(lián)的媒體數(shù)據(jù)字段;
4、確定與媒體數(shù)據(jù)字段對(duì)應(yīng)的第一預(yù)設(shè)中間件函數(shù),基于第一預(yù)設(shè)中間件函數(shù)對(duì)媒體數(shù)據(jù)字段對(duì)應(yīng)的媒體數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)化;
5、確定與數(shù)據(jù)轉(zhuǎn)化結(jié)果對(duì)應(yīng)的第二預(yù)設(shè)中間件函數(shù),基于第二預(yù)設(shè)中間件函數(shù)對(duì)數(shù)據(jù)轉(zhuǎn)化結(jié)果進(jìn)行數(shù)據(jù)合理性校驗(yàn);
6、在數(shù)據(jù)轉(zhuǎn)化結(jié)果的數(shù)據(jù)合理性校驗(yàn)通過的情況下,輸出數(shù)據(jù)轉(zhuǎn)化結(jié)果。
7、進(jìn)一步的,確定與媒體數(shù)據(jù)字段對(duì)應(yīng)的第一預(yù)設(shè)中間件函數(shù),包括:
8、識(shí)別媒體數(shù)據(jù)字段的字段標(biāo)識(shí),以及多個(gè)預(yù)設(shè)中間件函數(shù)的函數(shù)標(biāo)識(shí),比較字段標(biāo)識(shí)和函數(shù)標(biāo)識(shí),確定函數(shù)標(biāo)識(shí)中與字段標(biāo)識(shí)相同的多個(gè)目標(biāo)預(yù)設(shè)中間件函數(shù);
9、確定與字段標(biāo)識(shí)對(duì)應(yīng)的字段結(jié)構(gòu),根據(jù)字段結(jié)構(gòu)組合多個(gè)目標(biāo)預(yù)設(shè)中間件函數(shù),得到第一預(yù)設(shè)中間件函數(shù)。
10、進(jìn)一步的,根據(jù)字段結(jié)構(gòu)組合多個(gè)目標(biāo)預(yù)設(shè)中間件函數(shù),包括:
11、根據(jù)字段結(jié)構(gòu)確定媒體數(shù)據(jù)字段對(duì)應(yīng)的多個(gè)媒體數(shù)據(jù)之間的數(shù)據(jù)排列順序,并確定多個(gè)媒體數(shù)據(jù)之間的依賴關(guān)系;
12、根據(jù)數(shù)據(jù)排列順序和依賴關(guān)系確定與每個(gè)媒體數(shù)據(jù)對(duì)應(yīng)的目標(biāo)預(yù)設(shè)中間件函數(shù)的組合位置,按照組合結(jié)構(gòu)組合多個(gè)目標(biāo)預(yù)設(shè)中間件函數(shù)。
13、進(jìn)一步的,基于第二預(yù)設(shè)中間件函數(shù)對(duì)數(shù)據(jù)轉(zhuǎn)化結(jié)果進(jìn)行數(shù)據(jù)合理性校驗(yàn),包括:
14、讀取數(shù)據(jù)轉(zhuǎn)化結(jié)果中的原始數(shù)據(jù),將原始數(shù)據(jù)輸入至第二預(yù)設(shè)中間件函數(shù)中,以基于第二預(yù)設(shè)中間件函數(shù)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)查找和數(shù)據(jù)比較,確定原始數(shù)據(jù)是否與標(biāo)準(zhǔn)數(shù)據(jù)相同;
15、在原始數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)相同的情況下,確定數(shù)據(jù)轉(zhuǎn)化結(jié)果的數(shù)據(jù)合理性校驗(yàn)通過;
16、在原始數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)不同的情況下,確定數(shù)據(jù)轉(zhuǎn)化結(jié)果的數(shù)據(jù)合理性校驗(yàn)不通過。
17、進(jìn)一步的,在確定數(shù)據(jù)轉(zhuǎn)化結(jié)果的數(shù)據(jù)合理性校驗(yàn)不通過之后,方法還包括:
18、將原始數(shù)據(jù)和標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行歸一化處理,并計(jì)算原始數(shù)據(jù)的第一歸一化處理結(jié)果與標(biāo)準(zhǔn)數(shù)據(jù)的第二歸一化處理結(jié)果之間的處理結(jié)果相似度;
19、比較處理結(jié)果相似度是否符合預(yù)設(shè)相同數(shù)據(jù)相似度閾值,在處理結(jié)果相似度符合預(yù)設(shè)相同數(shù)據(jù)相似度閾值的情況下,按照標(biāo)準(zhǔn)數(shù)據(jù)對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)修正,直至數(shù)據(jù)合理性校驗(yàn)通過。
20、進(jìn)一步的,在確定與數(shù)據(jù)轉(zhuǎn)化結(jié)果對(duì)應(yīng)的第二預(yù)設(shè)中間件函數(shù)之前,方法還包括:
21、識(shí)別數(shù)據(jù)轉(zhuǎn)化結(jié)果的數(shù)據(jù)類型,根據(jù)預(yù)設(shè)中間件校驗(yàn)類型庫確定數(shù)據(jù)類型是否為中間件校驗(yàn)類型;
22、在數(shù)據(jù)類型不是中間件校驗(yàn)類型的情況下,終止數(shù)據(jù)合理性校驗(yàn)流程,并輸出數(shù)據(jù)轉(zhuǎn)化結(jié)果。
23、進(jìn)一步的,在輸出數(shù)據(jù)轉(zhuǎn)化結(jié)果之前,方法還包括:
24、基于預(yù)設(shè)格式校驗(yàn)規(guī)則對(duì)數(shù)據(jù)轉(zhuǎn)化結(jié)果進(jìn)行格式校驗(yàn),以及基于缺失校驗(yàn)規(guī)則對(duì)數(shù)據(jù)轉(zhuǎn)化結(jié)果進(jìn)行缺失校驗(yàn);
25、在數(shù)據(jù)轉(zhuǎn)化結(jié)果格式校驗(yàn)通過且缺失校驗(yàn)通過的情況下,確定媒體數(shù)據(jù)轉(zhuǎn)化完成。
26、第二方面,本技術(shù)實(shí)施例提供了一種媒體數(shù)據(jù)轉(zhuǎn)化裝置,所述裝置包括:
27、媒體數(shù)據(jù)確定模塊,用于接收待處理媒體任務(wù),確定與待處理媒體任務(wù)關(guān)聯(lián)的媒體數(shù)據(jù)字段;
28、數(shù)據(jù)轉(zhuǎn)化模塊,用于確定與媒體數(shù)據(jù)字段對(duì)應(yīng)的第一預(yù)設(shè)中間件函數(shù),基于第一預(yù)設(shè)中間件函數(shù)對(duì)媒體數(shù)據(jù)字段對(duì)應(yīng)的媒體數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)化;
29、數(shù)據(jù)校驗(yàn)?zāi)K,用于確定與數(shù)據(jù)轉(zhuǎn)化結(jié)果對(duì)應(yīng)的第二預(yù)設(shè)中間件函數(shù),基于第二預(yù)設(shè)中間件函數(shù)對(duì)數(shù)據(jù)轉(zhuǎn)化結(jié)果進(jìn)行數(shù)據(jù)合理性校驗(yàn);
30、轉(zhuǎn)化結(jié)果輸出模塊,用于在數(shù)據(jù)轉(zhuǎn)化結(jié)果的數(shù)據(jù)合理性校驗(yàn)通過的情況下,輸出數(shù)據(jù)轉(zhuǎn)化結(jié)果。
31、第三方面,本技術(shù)實(shí)施例提供了一種電子設(shè)備,該電子設(shè)備包括處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序或指令,所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。
32、第四方面,本技術(shù)實(shí)施例提供了一種可讀存儲(chǔ)介質(zhì),所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令,所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。
33、第五方面,本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)程序產(chǎn)品,該計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序,該計(jì)算機(jī)程序存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,設(shè)備的至少一個(gè)處理器從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)讀取并執(zhí)行計(jì)算機(jī)程序,使得設(shè)備執(zhí)行如第一方面所述的方法。
34、在本技術(shù)實(shí)施例中,接收待處理媒體任務(wù),確定與待處理媒體任務(wù)關(guān)聯(lián)的媒體數(shù)據(jù)字段;確定與媒體數(shù)據(jù)字段對(duì)應(yīng)的第一預(yù)設(shè)中間件函數(shù),基于第一預(yù)設(shè)中間件函數(shù)對(duì)媒體數(shù)據(jù)字段對(duì)應(yīng)的媒體數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)化;確定與數(shù)據(jù)轉(zhuǎn)化結(jié)果對(duì)應(yīng)的第二預(yù)設(shè)中間件函數(shù),基于第二預(yù)設(shè)中間件函數(shù)對(duì)數(shù)據(jù)轉(zhuǎn)化結(jié)果進(jìn)行數(shù)據(jù)合理性校驗(yàn);在數(shù)據(jù)轉(zhuǎn)化結(jié)果的數(shù)據(jù)合理性校驗(yàn)通過的情況下,輸出數(shù)據(jù)轉(zhuǎn)化結(jié)果。通過上述媒體數(shù)據(jù)轉(zhuǎn)化方法,解決了現(xiàn)有技術(shù)中存在的轉(zhuǎn)化方式不夠靈活、轉(zhuǎn)化結(jié)果不夠準(zhǔn)確以及轉(zhuǎn)化效率低的問題,通過確定與待處理媒體任務(wù)關(guān)聯(lián)的媒體數(shù)據(jù)字段確定待轉(zhuǎn)化媒體數(shù)據(jù),基于第一預(yù)設(shè)中間件函數(shù)進(jìn)行數(shù)據(jù)轉(zhuǎn)化,基于第二預(yù)設(shè)中間件函數(shù)對(duì)數(shù)據(jù)轉(zhuǎn)化結(jié)果進(jìn)行數(shù)據(jù)合理性校驗(yàn),輸出數(shù)據(jù)轉(zhuǎn)化結(jié)果,可以達(dá)到靈活讀取以及轉(zhuǎn)化媒體數(shù)據(jù)的目的,提高了對(duì)媒體數(shù)據(jù)讀取以及轉(zhuǎn)化的靈活性和效率,同時(shí)能夠?qū)D(zhuǎn)化結(jié)果進(jìn)行合理性校驗(yàn),確保了轉(zhuǎn)化結(jié)果的準(zhǔn)確性。