本發(fā)明涉及機器視覺和消防，具體是一種基于多模態(tài)信息融合的倉庫火災(zāi)智能檢測與滅火方法。
背景技術(shù)：
1、傳統(tǒng)消防系統(tǒng)主要依賴煙霧探測器、溫度傳感器等單一環(huán)境感知設(shè)備，結(jié)合手動或半自動滅火裝置實現(xiàn)火災(zāi)防控，普遍存在響應(yīng)滯后、誤報率高、滅火效率低等問題?；跓熿F探測器的消防系統(tǒng)在檢測到煙霧時才發(fā)出警報，且無法準(zhǔn)確定位火災(zāi)的具體位置，導(dǎo)致難以采取有效的滅火措施，同時易受粉塵、蒸汽等非火災(zāi)因素干擾，導(dǎo)致可能因非火災(zāi)情況下產(chǎn)生的煙塵而產(chǎn)生誤報?；跓岢上竦南老到y(tǒng)雖然能夠根據(jù)溫度信息識別火災(zāi)位置，但火勢會隨著時間蔓延，而溫度信息卻無法反映火勢蔓延趨勢，因此無法抑制火勢蔓延?；谝曈X圖像的消防系統(tǒng)通過目標(biāo)檢測識別火焰，定位火災(zāi)位置，但是只有產(chǎn)生明火的情況下才能準(zhǔn)確識別，無法在火災(zāi)初期進(jìn)行有效識別，具有滯后性。
2、傳統(tǒng)消防系統(tǒng)通常是在樓道或者倉庫四周布設(shè)水槍，覆蓋范圍廣，發(fā)生火災(zāi)后所有水槍都參與滅火任務(wù)，容易造成滅火劑浪費和次生水損。對于倉庫的消防任務(wù)，既需要精準(zhǔn)快速地滅火防止火勢蔓延造成更大的損失，又需要避免大面積的噴淋防止過多的物品遭到損壞，因此亟需一種集實時監(jiān)測、精準(zhǔn)定位、智能決策于一體的滅火方法，以提高滅火效率并降低災(zāi)害損失。
技術(shù)實現(xiàn)思路
1、針對現(xiàn)有技術(shù)的不足，本發(fā)明擬解決的技術(shù)問題是，提供一種基于多模態(tài)信息融合的倉庫火災(zāi)智能檢測與滅火方法。
2、本發(fā)明解決所述技術(shù)問題采用的技術(shù)方案是：
3、一種基于多模態(tài)信息融合的倉庫火災(zāi)智能檢測與滅火方法，其特征在于，包括以下步驟：
4、第一步：采集視覺圖像、熱成像圖像以及煙霧濃度時間序列；
5、第二步：將煙霧濃度時間序列、視覺圖像和熱成像圖像輸入到多模態(tài)火災(zāi)預(yù)測模型中，預(yù)測火災(zāi)等級；
6、利用煙霧濃度時間序列提取煙霧濃度特征，熱成像圖像提取溫度特征，視覺圖像提取火焰特征；
7、煙霧濃度、溫度和火焰三種特征分別采用關(guān)聯(lián)關(guān)系驅(qū)動的融合方法進(jìn)行增強，得到增強的煙霧濃度特征、增強的溫度特征以及增強的火焰特征；將增強的溫度特征和火焰特征進(jìn)行拼接，得到淺層融合特征；將增強的煙霧濃度特征和淺層融合特征分別經(jīng)過mlp后再進(jìn)行拼接，得到中層融合特征；同時對增強的煙霧濃度特征、溫度特征以及火焰特征進(jìn)行拼接，得到增強融合特征；
8、采用注意力門控機制，為各個融合特征賦予權(quán)重；根據(jù)下式對各融合特征進(jìn)行加權(quán)融合，得到深層融合特征；
9、
10、式中，cfinal表示深層融合特征，gearly、gmiddle、gaf分別表示淺層融合特征cearly、中層融合特征cmiddle和增強融合特征caf的的權(quán)重；
11、深層融合特征經(jīng)過softmax函數(shù)得到預(yù)測分?jǐn)?shù)，進(jìn)而得到火災(zāi)等級；
12、第三步：將視覺圖像輸入到火焰目標(biāo)檢測模型中，預(yù)測火源和著火范圍；根據(jù)預(yù)測的火焰邊界框，采用光流法預(yù)測火焰蔓延方向；
13、第四步：根據(jù)火災(zāi)等級、火源以及火焰蔓延方向，調(diào)度水槍；
14、將倉庫內(nèi)部空間以十字形式劃分為四個區(qū)域，每個區(qū)域的中心位置均安裝有一臺可旋轉(zhuǎn)的水槍；計算各臺水槍到火源的距離，距離最近的水槍承擔(dān)主要滅火任務(wù)，選擇火焰蔓延方向上的一臺水槍承擔(dān)輔助滅火任務(wù)；火災(zāi)等級由高至低分為一、二、三級，每提升一個級，增加一臺距離較近的水槍承擔(dān)主要滅火任務(wù)；當(dāng)火災(zāi)等級為一級時，四臺水槍全部投入滅火。
15、進(jìn)一步的，所述火焰目標(biāo)檢測模型由c2f_repvitsimam模塊逐個替換yolov10骨干網(wǎng)絡(luò)的c2f模塊得到；c2f_repvitsimam模塊是由repvitsimam模塊替換c2f模塊的bottleneck結(jié)構(gòu)得到；在repvitsimam模塊中，輸入特征沿通道維度分割為三個子特征，第二個子特征經(jīng)過3×3深度可分離卷積以及第三個子特征經(jīng)過1×1深度可分離卷積后，與第一個子特征在通道維度進(jìn)行拼接，拼接得到的特征經(jīng)過通過simam注意力機制，得到注意力特征；注意力特征經(jīng)過前饋神經(jīng)網(wǎng)絡(luò)后，得到repvitsimam模塊的輸出特征。
16、進(jìn)一步的，煙霧濃度時間序列輸入到長短時記憶網(wǎng)絡(luò)中，將最后一個時間步的隱藏狀態(tài)作為煙霧濃度特征；熱成像圖像輸入到resnet50網(wǎng)絡(luò)中，將resnet50網(wǎng)絡(luò)第二階段的輸出特征作為溫度特征；視覺圖像輸入到火焰目標(biāo)檢測模型中，將火焰目標(biāo)檢測模型主干網(wǎng)絡(luò)的輸出特征作為火焰特征。
17、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：
18、1、本發(fā)明通過視覺圖像、熱成像圖像和煙霧感應(yīng)獲取火災(zāi)信息，對視覺、溫度、煙霧三種模態(tài)信息進(jìn)行融合，預(yù)測火災(zāi)等級，避免單一模態(tài)或雙模態(tài)信息融合可能造成的火災(zāi)判定不準(zhǔn)確等問題。通過目標(biāo)檢測精準(zhǔn)定位火源和著火范圍，為精準(zhǔn)滅火提供了基礎(chǔ)，同時可確定火焰蔓延方向，根據(jù)火災(zāi)等級、火源和火焰蔓延方向，即根據(jù)火災(zāi)的具體情況，確定執(zhí)行滅火任務(wù)的水槍，采用距離火源最近的水槍主要執(zhí)行滅火，火焰蔓延方向上的水槍輔助滅火的策略，在滅火的同時有效抑制了火勢蔓延，實現(xiàn)精準(zhǔn)有效地自動化滅火，解決了現(xiàn)有滅火方法無法根據(jù)火災(zāi)情況動態(tài)調(diào)度水槍的問題。
19、水槍布置在倉庫各區(qū)域的中心位置，而非倉庫四周，在保證倉庫內(nèi)部空間完全被水槍噴灑范圍覆蓋的基礎(chǔ)上，縮小了單個水槍覆蓋的空間，實現(xiàn)了精確瞄準(zhǔn)，解決了傳統(tǒng)滅火系統(tǒng)因其廣泛的噴灑面積可能導(dǎo)致的不必要水損，特別是對于那些未直接受到火焰影響的周邊貨物，以及存在的滅火死角問題，確保任何位置的火源都能得到有效處理。
20、2、多模態(tài)火災(zāi)預(yù)測模型首先提取煙霧濃度、溫度以及火焰特征，然后對這三種特征進(jìn)行處理，提取淺層融合特征、中層融合特征以及增強融合特征；最后，對這三種融合特征進(jìn)行加權(quán)融合，得到深層融合特征，利用深層融合特征進(jìn)行火災(zāi)等級預(yù)測，實現(xiàn)了三種模態(tài)信息的充分融合，提高了預(yù)測精度。
21、利用c2f_repvitsimam模塊逐個替換yolov10骨干網(wǎng)絡(luò)的c2f模塊，得到火焰目標(biāo)檢測模型，可精準(zhǔn)定位火災(zāi)位置；利用repvitsimam模塊替換c2f模塊的bottleneck結(jié)構(gòu)，得到c2f_repvitsimam模塊，減少了計算量，提高了目標(biāo)檢測速度。c2f_repvitsimam模塊是在repvitsimam模塊中引入simam注意力機制，增強了特征提取能力，同時沒有引入額外的參數(shù)，在提升模型性能的同時幾乎不增加計算負(fù)擔(dān)，非常適合資源受限的環(huán)境。與其他復(fù)雜的注意力機制相比，simam注意力機制不需要進(jìn)行復(fù)雜的超參數(shù)調(diào)整，可以更容易地將其集成到現(xiàn)有的網(wǎng)絡(luò)架構(gòu)中，而無需花費大量時間進(jìn)行調(diào)參。
1.一種基于多模態(tài)信息融合的倉庫火災(zāi)智能檢測與滅火方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)信息融合的倉庫火災(zāi)智能檢測與滅火方法，其特征在于，所述火焰目標(biāo)檢測模型由c2f_repvitsimam模塊逐個替換yolov10骨干網(wǎng)絡(luò)的c2f模塊得到；c2f_repvitsimam模塊是由repvitsimam模塊替換c2f模塊的bottleneck結(jié)構(gòu)得到；在repvitsimam模塊中，輸入特征沿通道維度分割為三個子特征，第二個子特征經(jīng)過3×3深度可分離卷積以及第三個子特征經(jīng)過1×1深度可分離卷積后，與第一個子特征在通道維度進(jìn)行拼接，拼接得到的特征經(jīng)過通過simam注意力機制，得到注意力特征；注意力特征經(jīng)過前饋神經(jīng)網(wǎng)絡(luò)后，得到repvitsimam模塊的輸出特征。
3.根據(jù)權(quán)利要求1或2所述的基于多模態(tài)信息融合的倉庫火災(zāi)智能檢測與滅火方法，其特征在于，煙霧濃度時間序列輸入到長短時記憶網(wǎng)絡(luò)中，將最后一個時間步的隱藏狀態(tài)作為煙霧濃度特征；熱成像圖像輸入到resnet50網(wǎng)絡(luò)中，將resnet50網(wǎng)絡(luò)第二階段的輸出特征作為溫度特征；視覺圖像輸入到火焰目標(biāo)檢測模型中，將火焰目標(biāo)檢測模型主干網(wǎng)絡(luò)的輸出特征作為火焰特征。