本發(fā)明涉及變電站視頻檢測(cè)，具體地涉及基于視頻流分析的變電站行為檢測(cè)方法、系統(tǒng)和處理器。

背景技術(shù)：

1、目前變電站無(wú)計(jì)劃作業(yè)智能研判模型仍存在變電站設(shè)備、夜間巡視環(huán)境等問(wèn)題誤報(bào)，主要是對(duì)巡檢工作人員的識(shí)別不夠準(zhǔn)確的原因。對(duì)于督查中心人員人工復(fù)核是否為無(wú)計(jì)劃作業(yè)增加干擾，只有在精確識(shí)別的基礎(chǔ)上才能夠?qū)ψ冸娬镜墓ぷ魅藛T的行為進(jìn)行檢測(cè)，以在發(fā)現(xiàn)有違章情況時(shí)及時(shí)發(fā)出警報(bào)。因此，需要一種能夠基于視頻流分析的變電站行為檢測(cè)方法，以準(zhǔn)確的識(shí)別在變電站中工作人員的違章情況。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例的目的是提供一種基于視頻流分析的變電站行為檢測(cè)方法、系統(tǒng)和處理器，該變電站行為檢測(cè)方法可以準(zhǔn)確的識(shí)別變電站中工作人員的違章情況。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供一種基于視頻流分析的變電站行為檢測(cè)方法，所述變電站行為檢測(cè)方法包括：

3、獲取變電站關(guān)于工作人員動(dòng)作的視頻流；

4、對(duì)所述視頻流進(jìn)行抽幀處理以得到包含工作人員的圖像；

5、對(duì)所述圖像進(jìn)行目標(biāo)檢測(cè)，以得到關(guān)于工作人員的圖像特征；

6、對(duì)所述圖像特征進(jìn)行動(dòng)作分析，并進(jìn)行行為檢測(cè)，以生成異常警告信息；

7、將關(guān)于工作人員的異常警告信息以及對(duì)應(yīng)的視頻片段通過(guò)物聯(lián)感知設(shè)備或信息進(jìn)行提示，以實(shí)現(xiàn)告警的推送。

8、可選的，對(duì)所述視頻流進(jìn)行抽幀處理以得到包含工作人員的圖像，包括：

9、獲取所述視頻流，并通過(guò)固定抽幀頻率對(duì)所述視頻流進(jìn)行抽幀；

10、判斷抽幀得到的圖像是否包含工作人員；

11、在抽幀得到的圖像包含工作人員的情況下，增大抽幀頻率；

12、在抽幀得到的圖像不包含工作人員的情況下，減小抽幀頻率；

13、將所有抽幀得到的包含工作人員的圖像進(jìn)行集合。

14、可選的，對(duì)所述圖像進(jìn)行目標(biāo)檢測(cè)，以得到關(guān)于工作人員的圖像特征，包括：

15、獲取包含工作人員的圖像，并對(duì)所述圖像進(jìn)行背景分割，以得到篩選后包含工作人員的前景圖像；

16、根據(jù)獲取到的前景圖像，對(duì)所述前景圖像中的物體進(jìn)行邊緣優(yōu)化，以得到優(yōu)化后的前景圖像；

17、判斷優(yōu)化后的所述前景圖像中的物體是否存在缺失；

18、在存在缺失的情況下，對(duì)缺失的部分進(jìn)行修復(fù)；

19、將修復(fù)后的所述前景圖像和不存在缺失的所述前景圖像進(jìn)行特征變換，以獲取所述前景圖像的圖像特征；

20、獲取與所述前景圖像中的圖像特征位置信息對(duì)應(yīng)的不同幀的包含工作人員的圖像的第二特征；

21、對(duì)所述前景圖像的圖像特征和第二特征進(jìn)行融合，以得到關(guān)于工作人員的圖像特征。

22、可選的，獲取包含工作人員的圖像，并對(duì)所述圖像進(jìn)行背景分割，以得到篩選后包含工作人員的前景圖像，包括：

23、獲取包含所述工作人員的圖像，并將所述圖像送入restnet50中進(jìn)行特征抽取并將抽取的特征拉直；

24、將拉直的特征與位置編碼相加以得到序列特征，并輸入到transformer編碼器中；

25、transformer編碼器根據(jù)輸入的序列特征學(xué)習(xí)全局信息，并通過(guò)自注意力機(jī)制實(shí)現(xiàn)全局上下文的關(guān)系建模，然后通過(guò)transformer解碼器生成預(yù)測(cè)框；

26、通過(guò)公式（1）獲取到的預(yù)測(cè)框和真實(shí)值之間的最佳匹配：

27、公式（1），

28、其中，表示最優(yōu)排列，表示預(yù)測(cè)框的數(shù)量，表示預(yù)測(cè)框和真實(shí)值排列的集合，表示標(biāo)號(hào)，表示真實(shí)值，表示預(yù)測(cè)框，表示單個(gè)的真實(shí)值與預(yù)測(cè)框的匹配成本；

29、根據(jù)計(jì)算預(yù)測(cè)框和真實(shí)值之間的最佳匹配的損失函數(shù)，并根據(jù)最小化損失函數(shù)對(duì)restnet50、transformer編碼器和transformer解碼器中的參數(shù)進(jìn)行調(diào)整；

30、針對(duì)調(diào)整后的參數(shù)得到預(yù)測(cè)框，計(jì)算預(yù)測(cè)框的置信度，獲取置信度大于預(yù)設(shè)閾值的預(yù)測(cè)框作為前景圖像。

31、可選的，根據(jù)獲取到的前景圖像，對(duì)所述前景圖像中的物體進(jìn)行邊緣優(yōu)化，以得到優(yōu)化后的前景圖像，包括：

32、獲取包含工作人員的前景圖像，并尋找所述前景圖像中的像素輪廓界；

33、根據(jù)獲取到的像素輪廓界，選取所述像素輪廓界的像素點(diǎn)，并以選定的像素點(diǎn)為中心，獲取在5*5領(lǐng)域內(nèi)的所有像素點(diǎn)；

34、根據(jù)獲取到的所述像素點(diǎn)，通過(guò)公式（2）獲取每個(gè)像素點(diǎn)的初始權(quán)重：

35、公式（2），

36、其中，表示像素點(diǎn)的初始權(quán)重，表示中心的像素點(diǎn)，表示權(quán)重參數(shù)；

37、對(duì)獲取到的每個(gè)像素點(diǎn)的初始權(quán)重進(jìn)行歸一化處理，累加每個(gè)像素點(diǎn)的像素值與歸一化處理后的所述初始權(quán)重相乘的結(jié)果，以更新中心的像素點(diǎn)的像素值；

38、遍歷所述前景圖像中所有的像素輪廓界的像素點(diǎn)，以對(duì)所述前景圖像中的物體進(jìn)行邊緣優(yōu)化，以得到優(yōu)化后的所述前景圖像。

39、可選的，前景圖像進(jìn)行特征變換，以獲取所述前景圖像的圖像特征，包括：

40、獲取所述前景圖像，并對(duì)所述前景圖像進(jìn)行特征抽取，以得到關(guān)于前景圖像的特征點(diǎn)；

41、對(duì)所述前景圖像進(jìn)行多次的復(fù)合幾何變換，從而得到各個(gè)形狀和角度的前景圖像；

42、抽取復(fù)合幾何變換后的所述前景圖像的特征，以得到新的特征點(diǎn)；

43、將新的特征點(diǎn)映射回初始的前景圖像的特征點(diǎn)，從而得到聚合的特征點(diǎn)，根據(jù)聚合的特征點(diǎn)獲取所述前景圖像的圖像特征。

44、可選的，對(duì)所述前景圖像的圖像特征和第二特征進(jìn)行融合，以得到關(guān)于工作人員的圖像特征，包括：

45、選取所述前景圖像中的圖像特征的三個(gè)特征點(diǎn)；

46、根據(jù)前景圖像中的圖像特征的三個(gè)特征點(diǎn)選取與其對(duì)應(yīng)的所述第二特征中的三個(gè)特征點(diǎn)；

47、所述第二特征中的對(duì)應(yīng)的三個(gè)特征點(diǎn)連線(xiàn)的區(qū)域與所述前景圖像中的三個(gè)特征點(diǎn)連線(xiàn)的區(qū)域重疊的部分為匹配特征區(qū)域；

48、以所述前景圖像的圖像特征為基礎(chǔ)，將所述匹配特征區(qū)域融合到所述前景圖像的圖像特征中，以得到關(guān)于工作人員的圖像特征。

49、另一方面，本發(fā)明還可以提供一種基于視頻流分析的變電站行為檢測(cè)系統(tǒng)，所述變電站行為檢測(cè)系統(tǒng)包括：

50、人像視頻獲取模塊，用于獲取關(guān)于工作人員的視頻流；

51、檢測(cè)模塊，用于根據(jù)獲取到的視屏流執(zhí)行如上述所述的基于視頻流分析的變電站行為檢測(cè)方法。

52、另一方面，本發(fā)明還可以提供一種處理器，用于運(yùn)行程序，其中，所述程序被運(yùn)行時(shí)用于執(zhí)行：如上述所述的基于視頻流分析的變電站行為檢測(cè)方法。

53、通過(guò)上述技術(shù)方案，本發(fā)明提供的基于視頻流分析的變電站行為檢測(cè)方法、系統(tǒng)和處理器通過(guò)獲取變電站關(guān)于工作人員動(dòng)作的視頻流，從而可以對(duì)視頻流進(jìn)行抽幀處理以得到包含工作人員的圖像。在得到圖像后，可以對(duì)得到的圖像進(jìn)行目標(biāo)檢測(cè)，以得到關(guān)于工作人員的圖像特征。在得到圖像特征后，可以對(duì)獲取到的圖像特征進(jìn)行動(dòng)作分析，并且可以進(jìn)行行為檢測(cè)，從而可以在檢測(cè)到圖像中的行為動(dòng)作有違章情況下，可以生成異常告警信息。在得到異常告警信息后，可以將關(guān)于工作人員的異常警告信息以及對(duì)應(yīng)的視頻片段通過(guò)物聯(lián)感知設(shè)備或者信息進(jìn)行提示，從而可以實(shí)現(xiàn)告警的推送。該變電站行為檢測(cè)方法可以準(zhǔn)確的識(shí)別變電站中工作人員的違章情況。

54、本發(fā)明實(shí)施例的其它特征和優(yōu)點(diǎn)將在隨后的具體實(shí)施方式部分予以詳細(xì)說(shuō)明。