本發(fā)明涉及數(shù)據(jù)網(wǎng)格化統(tǒng)計(jì),具體涉及一種空間數(shù)據(jù)網(wǎng)格化統(tǒng)計(jì)裝置及方法。
背景技術(shù):
1、空間數(shù)據(jù)網(wǎng)格化統(tǒng)計(jì)是一種將連續(xù)的空間數(shù)據(jù)按照特定規(guī)則劃分為若干個(gè)規(guī)則或不規(guī)則網(wǎng)格單元,并對(duì)每個(gè)網(wǎng)格單元內(nèi)的空間數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析的方法。在空間數(shù)據(jù)研究中,原始數(shù)據(jù)往往分布廣泛且形式多樣,通過(guò)網(wǎng)格化處理,可將復(fù)雜的空間信息轉(zhuǎn)化為離散的網(wǎng)格單元集合,每個(gè)網(wǎng)格單元被賦予特定的屬性值(如該網(wǎng)格內(nèi)建筑物的數(shù)量、面積總和、人口密度等統(tǒng)計(jì)指標(biāo))。其不僅簡(jiǎn)化了空間數(shù)據(jù)的復(fù)雜度,便于數(shù)據(jù)的存儲(chǔ)、管理和計(jì)算,還能更直觀地展示空間數(shù)據(jù)的分布特征和變化趨勢(shì)。
2、現(xiàn)有技術(shù)如基于數(shù)學(xué)插值的空間數(shù)據(jù)網(wǎng)格化統(tǒng)計(jì)方法,其使用規(guī)則網(wǎng)格將待統(tǒng)計(jì)區(qū)域覆蓋,其中各個(gè)網(wǎng)格的數(shù)值采用網(wǎng)格中心所在區(qū)域的統(tǒng)計(jì)值除以該區(qū)域內(nèi)網(wǎng)格數(shù)的方法進(jìn)行計(jì)算,而后用各網(wǎng)格的領(lǐng)域平均值代替該網(wǎng)格的原始數(shù)值,以統(tǒng)計(jì)區(qū)域的總值不變?yōu)榍疤?,以平滑后的柵格值為?quán)重,對(duì)柵格值進(jìn)行調(diào)整形成一次循環(huán),其通過(guò)多次的平滑與調(diào)整能夠得到統(tǒng)計(jì)值的連續(xù)表面。
3、上述方法雖然能夠在一定程度上實(shí)現(xiàn)對(duì)空間數(shù)據(jù)的網(wǎng)格化統(tǒng)計(jì),但其由于基于規(guī)則網(wǎng)格進(jìn)行插值,在面對(duì)復(fù)雜分布的數(shù)據(jù)時(shí),插值結(jié)果可能無(wú)法準(zhǔn)確反映真實(shí)情況,從而可能導(dǎo)致統(tǒng)計(jì)結(jié)果出現(xiàn)偏差,降低了空間數(shù)據(jù)網(wǎng)格化分析結(jié)果準(zhǔn)確性。
4、綜上所述,基于數(shù)學(xué)插值的空間數(shù)據(jù)網(wǎng)格化統(tǒng)計(jì)方法在面對(duì)復(fù)雜分布的數(shù)據(jù)時(shí),可能導(dǎo)致統(tǒng)計(jì)結(jié)果出現(xiàn)偏差,降低了空間數(shù)據(jù)網(wǎng)格化分析結(jié)果準(zhǔn)確性的問(wèn)題已經(jīng)成為本領(lǐng)域亟需解決的難題,因此有必要提出一種空間數(shù)據(jù)網(wǎng)格化統(tǒng)計(jì)裝置及方法。
技術(shù)實(shí)現(xiàn)思路
1、為解決上述問(wèn)題,本發(fā)明提供一種空間數(shù)據(jù)網(wǎng)格化統(tǒng)計(jì)裝置及方法,通過(guò)采用dbscan算法對(duì)實(shí)際參考數(shù)據(jù)進(jìn)行數(shù)據(jù)分析操作,能夠自動(dòng)識(shí)別數(shù)據(jù)中的密集區(qū)域和稀疏區(qū)域,無(wú)需預(yù)先設(shè)定網(wǎng)格大小或形狀,使其能夠處理任意形狀的簇,進(jìn)而提高了空間數(shù)據(jù)網(wǎng)格化分析結(jié)果的效率和準(zhǔn)確性。
2、為了實(shí)現(xiàn)上述目的,本發(fā)明的技術(shù)方案如下:一種空間數(shù)據(jù)網(wǎng)格化統(tǒng)計(jì)裝置,包括以下模塊:
3、數(shù)據(jù)采集模塊,用于集成衛(wèi)星遙感影像技術(shù)、移動(dòng)測(cè)量車實(shí)時(shí)點(diǎn)云技術(shù)、iot傳感器網(wǎng)絡(luò)和歷史檔案數(shù)字化平臺(tái),構(gòu)建空天地一體化采集體系,對(duì)待統(tǒng)計(jì)區(qū)域的遙感圖像信息、實(shí)時(shí)地理信息、實(shí)地測(cè)量信息和歷史檔案信息進(jìn)行采集。
4、模型建立模塊,用于以數(shù)據(jù)采集模塊采集到的歷史檔案信息和實(shí)時(shí)地理信息為基礎(chǔ),建立建筑物分布的概率模型,并以遙感圖像信息、實(shí)時(shí)地理信息和實(shí)地測(cè)量信息為基礎(chǔ)建立實(shí)時(shí)信息庫(kù),通過(guò)實(shí)時(shí)信息庫(kù)建立建筑變化增量模型,對(duì)建筑物分布的概率模型和建筑變化增量模型進(jìn)行動(dòng)態(tài)加權(quán)整合,得到綜合分析模型。
5、數(shù)據(jù)分析模塊,用于通過(guò)綜合分析模型,采用dbscan算法對(duì)實(shí)際參考數(shù)據(jù)進(jìn)行數(shù)據(jù)分析操作,得出分析結(jié)果,并計(jì)算得到的分析結(jié)果與實(shí)際參考數(shù)據(jù)之間的匹配率;其中,實(shí)際參考數(shù)據(jù)為實(shí)時(shí)信息庫(kù)中的遙感圖像信息、實(shí)時(shí)地理信息和實(shí)地測(cè)量信息。
6、多源驗(yàn)證模塊,用于根據(jù)分析結(jié)果與實(shí)際參考數(shù)據(jù)之間的匹配率,采用多級(jí)決策機(jī)制對(duì)分析結(jié)果的輸出情況進(jìn)行調(diào)整。
7、數(shù)據(jù)輸出與管理模塊,用于對(duì)輸出的分析結(jié)果進(jìn)行分類和編碼操作,并以分析結(jié)果為基礎(chǔ)創(chuàng)建圖表,同時(shí)對(duì)采集過(guò)程和分析過(guò)程中的所有數(shù)據(jù)進(jìn)行歸檔和備份操作。
8、進(jìn)一步,數(shù)據(jù)采集模塊包括以下單元:
9、遙感圖像采集單元,用于與衛(wèi)星api對(duì)接,自動(dòng)拉取最新的遙感影像信息。
10、地理信息采集單元,用于通過(guò)geoserver實(shí)時(shí)獲取待統(tǒng)計(jì)區(qū)域的路網(wǎng)和地形數(shù)據(jù),將其整合為實(shí)時(shí)地理信息。
11、測(cè)量信息采集單元,用于通過(guò)移動(dòng)測(cè)量車實(shí)時(shí)點(diǎn)云技術(shù)和iot傳感器網(wǎng)絡(luò)對(duì)待統(tǒng)計(jì)區(qū)域的建筑物進(jìn)行實(shí)地測(cè)量,得出實(shí)地測(cè)量信息。
12、歷史檔案采集單元,用于通過(guò)互聯(lián)網(wǎng)大模型查詢待統(tǒng)計(jì)區(qū)域的歷史檔案信息。
13、進(jìn)一步,模型建立模塊包括以下單元:
14、概率模型建立單元,用于對(duì)歷史檔案信息和實(shí)時(shí)地理信息進(jìn)行關(guān)鍵因子提取操作,并基于提取出的關(guān)鍵因子建立建筑物分布的概率模型,其具體算法公式如下:
15、(1)。
16、其中,y=1為存在建筑物的概率,x為特征向量,為通過(guò)歷史數(shù)據(jù)訓(xùn)練得到的權(quán)重參數(shù)。
17、增量模型建立單元,用于根據(jù)遙感圖像信息對(duì)建筑物的變化情況進(jìn)行實(shí)時(shí)監(jiān)測(cè)和預(yù)測(cè),根據(jù)實(shí)時(shí)地理信息對(duì)新建筑物進(jìn)行識(shí)別操作,并基于實(shí)地測(cè)量信息對(duì)建筑物的使用狀態(tài)進(jìn)行分析,建立出實(shí)時(shí)信息庫(kù),再以實(shí)時(shí)信息庫(kù)為基礎(chǔ),建立建筑變化增量模型。
18、模型整合單元,用于采用卡爾曼濾波技術(shù)對(duì)建筑物分布的概率模型和建筑變化增量模型進(jìn)行動(dòng)態(tài)加權(quán)整合,得到綜合分析模型。
19、進(jìn)一步,dbscan算法的具體過(guò)程如下:
20、給定對(duì)象p,對(duì)其-鄰域進(jìn)行定義,具體公式如下:
21、(2)。
22、其中,d為數(shù)據(jù)集,為p點(diǎn)到q點(diǎn)的距離。
23、當(dāng)點(diǎn)p的-鄰域中包含有minpts個(gè)點(diǎn)時(shí),p為核心點(diǎn),其具體表示為:
24、(3)。
25、此時(shí),當(dāng)點(diǎn)q在點(diǎn)p的-鄰域中,且p為核心點(diǎn)時(shí),q從p直接密度可達(dá);當(dāng)存在一個(gè)點(diǎn)序列p1、p2、…、pn,且其中p1=p,pn=q,同時(shí)pi+1從pi直接密度可達(dá)時(shí),則q從p密度可達(dá);當(dāng)存在一個(gè)點(diǎn)o,且點(diǎn)p和點(diǎn)q都從點(diǎn)o密度可達(dá)時(shí),則p和q密度相連。
26、進(jìn)一步,匹配率的計(jì)算公式如下:
27、(4)。
28、其中,g為匹配率,f為分析結(jié)果,c為參考數(shù)據(jù)。
29、進(jìn)一步,多源驗(yàn)證模塊的運(yùn)作流程如下:
30、當(dāng)匹配率大于90%時(shí),多源驗(yàn)證模塊將分析結(jié)果直接輸出。
31、當(dāng)匹配率在70%-90%之間時(shí),由多源驗(yàn)證模塊對(duì)分析結(jié)果進(jìn)行調(diào)整,并將調(diào)整完畢后的分析結(jié)果向工作人員展示,在工作人員確認(rèn)后,將分析結(jié)果進(jìn)行輸出。
32、當(dāng)匹配率小于70%時(shí),多源驗(yàn)證模塊向工作人員發(fā)出報(bào)警,由工作人員人工介入,對(duì)分析結(jié)果進(jìn)行修正,在修正完成后,再將修正后的分析結(jié)果進(jìn)行輸出。
33、進(jìn)一步,歷史檔案采集單元還用于通過(guò)ocr技術(shù)對(duì)紙質(zhì)文檔進(jìn)行識(shí)別,再通過(guò)nlp技術(shù)對(duì)紙質(zhì)文檔中的數(shù)據(jù)進(jìn)行提取,得到紙質(zhì)文檔中的歷史檔案。
34、進(jìn)一步,多源驗(yàn)證模塊包括自學(xué)習(xí)單元,當(dāng)匹配率在70%-90%之間時(shí),多源驗(yàn)證模塊通過(guò)自學(xué)習(xí)單元對(duì)分析結(jié)果進(jìn)行調(diào)整,同時(shí)記錄調(diào)整參數(shù)并反饋至模型建立模塊,使模型建立模塊根據(jù)調(diào)整參數(shù)更新綜合分析模型的參數(shù)。
35、進(jìn)一步,數(shù)據(jù)輸出與管理模塊包括區(qū)塊鏈存證單元,用于將分析結(jié)果、采集的所有數(shù)據(jù)和處理日志生成哈希值并上傳至區(qū)塊鏈進(jìn)行存證。
36、進(jìn)一步,一種空間數(shù)據(jù)網(wǎng)格化統(tǒng)計(jì)方法,包括以下步驟:
37、步驟一,數(shù)據(jù)采集與模型建立:采集待統(tǒng)計(jì)區(qū)域的遙感圖像信息、實(shí)時(shí)地理信息、實(shí)地測(cè)量信息和歷史檔案信息,根據(jù)其歷史檔案信息和實(shí)時(shí)地理信息為基礎(chǔ)建立建筑物分布的概率模型,同時(shí)以遙感圖像信息、實(shí)時(shí)地理信息和實(shí)地測(cè)量信息為依據(jù),建立實(shí)時(shí)信息庫(kù),再基于實(shí)時(shí)信息庫(kù)建立建筑變化增量模型,最后將概率分布模型和建筑變化增量模型進(jìn)行整合,得到綜合分析模型。
38、步驟二,數(shù)據(jù)分析與多源驗(yàn)證:通過(guò)dbscan算法和綜合分析模型分析實(shí)際參考數(shù)據(jù),在得出分析結(jié)果后,計(jì)算得出其與實(shí)際參考數(shù)據(jù)之間的匹配率,并以匹配率為參考數(shù)據(jù)建立多級(jí)決策機(jī)制,對(duì)分析結(jié)果的輸出進(jìn)行調(diào)整。
39、步驟三,數(shù)據(jù)的輸出與管理:在完成分析結(jié)果的輸出后,對(duì)本次分析中的所有數(shù)據(jù)進(jìn)行歸檔和備份,同時(shí)將輸出的分析結(jié)果分類編碼,并根據(jù)輸出的分析結(jié)果創(chuàng)建圖表。
40、上述方案的技術(shù)原理如下:
41、數(shù)據(jù)采集模塊首先對(duì)待統(tǒng)計(jì)區(qū)域的遙感圖像信息、實(shí)時(shí)地理信息、實(shí)地測(cè)量信息和歷史檔案信息進(jìn)行采集,再由模型建立模塊以歷史檔案信息和實(shí)時(shí)地理信息為基礎(chǔ),建立建筑物分布的概率模型,以遙感圖像信息、實(shí)時(shí)地理信息和實(shí)地測(cè)量信息為基礎(chǔ)建立實(shí)時(shí)信息庫(kù),基于實(shí)時(shí)信息庫(kù)建立出建筑變化增量模型,再對(duì)建筑物分布的概率模型和建筑變化增量模型進(jìn)行動(dòng)態(tài)加權(quán)整合,得到綜合分析模型。
42、在得出綜合分析模型后,通過(guò)數(shù)據(jù)分析模塊采用dbscan算法對(duì)實(shí)際參考數(shù)據(jù)進(jìn)行數(shù)據(jù)分析,得出分析結(jié)果,并同步計(jì)算其與實(shí)際參考數(shù)據(jù)的匹配率,在得出匹配率后,由多源驗(yàn)證模塊根據(jù)匹配率的具體情況對(duì)分析結(jié)果的輸出情況進(jìn)行調(diào)整和輸出,最后再由數(shù)據(jù)輸出與管理模塊對(duì)所有數(shù)據(jù)進(jìn)行歸檔備份,并對(duì)輸出的分析結(jié)果進(jìn)行分類和編碼,同時(shí)根據(jù)分析結(jié)果創(chuàng)建圖表。
43、采用上述方案有以下有益效果:
44、1、本發(fā)明,通過(guò)采用dbscan算法對(duì)實(shí)際參考數(shù)據(jù)進(jìn)行數(shù)據(jù)分析操作,能夠自動(dòng)識(shí)別數(shù)據(jù)中的密集區(qū)域和稀疏區(qū)域,無(wú)需預(yù)先設(shè)定網(wǎng)格大小或形狀,使其能夠處理任意形狀的簇,進(jìn)而提高了空間數(shù)據(jù)網(wǎng)格化分析結(jié)果的效率和準(zhǔn)確性。
45、2、本發(fā)明,通過(guò)對(duì)建筑物分布概率模型和建筑變化增量模型進(jìn)行動(dòng)態(tài)加權(quán)整合,得到綜合分析模型,充分考慮了建筑物的歷史分布和實(shí)時(shí)變化情況,提高了綜合分析模型的準(zhǔn)確性和適應(yīng)性。
46、3、本發(fā)明,通過(guò)對(duì)輸出的分析結(jié)果進(jìn)行分類和編碼操作,并以分析結(jié)果為基礎(chǔ)創(chuàng)建圖表,為工作人員提供了直觀的分析結(jié)果。同時(shí),對(duì)采集過(guò)程和分析過(guò)程中的所有數(shù)據(jù)進(jìn)行歸檔和備份的操作,還確保了數(shù)據(jù)的安全性和可追溯性。
47、本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過(guò)本發(fā)明的實(shí)踐了解到。