本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)管理優(yōu)化方法和系統(tǒng)。
背景技術：
1、現(xiàn)有分散式安全管理缺乏全局視角，各子節(jié)點獨立運作，無法從企業(yè)整體層面開展數(shù)據(jù)安全風險的評估與分析，難以察覺跨子節(jié)點的威脅；響應效率低下，當風險事件涉及多個子節(jié)點時，需分別在各子節(jié)點處置，協(xié)調困難且響應時間長，易使風險事件擴大化；同時存在資源浪費問題，各子節(jié)點獨立部署安全監(jiān)測系統(tǒng)，導致硬件資源、軟件許可證等方面重復投入，增加了企業(yè)運營成本。
2、簡單集中式安全管理數(shù)據(jù)處理壓力大，直接將原始日志和數(shù)據(jù)傳輸?shù)街醒牍?jié)點，會占用較高網(wǎng)絡帶寬，加重中央節(jié)點數(shù)據(jù)處理負擔，可能影響系統(tǒng)性能和響應速度；數(shù)據(jù)質量不佳，原始日志和數(shù)據(jù)格式不統(tǒng)一，包含大量噪聲和冗余信息，直接存儲和分析會影響風險監(jiān)測的準確性；規(guī)則靈活性欠缺，預設規(guī)則難以適應復雜多變的風險場景，無法及時發(fā)現(xiàn)新型風險。
3、因此，迫切需要一種新的數(shù)據(jù)管理優(yōu)化方法和系統(tǒng)，以解決上述問題。
技術實現(xiàn)思路
1、本發(fā)明意在提供一種數(shù)據(jù)管理優(yōu)化方法和系統(tǒng)，以解決現(xiàn)有技術中無法從企業(yè)整體層面開展數(shù)據(jù)安全風險的評估與分析，難以察覺跨子節(jié)點的威脅，，當風險事件涉及多個子節(jié)點時，多節(jié)點協(xié)調困難且響應時間長，進而導致響應效率低下，易使風險事件擴大化；各子節(jié)點獨立部署安全監(jiān)測系統(tǒng)，導致硬件資源、軟件許可證等方面重復投入，存在資源浪費問題，也增加了企業(yè)運營成本，因直接將原始日志和數(shù)據(jù)傳輸?shù)街醒牍?jié)點，導致加重中央節(jié)點數(shù)據(jù)處理負擔大，進而影響系統(tǒng)性能和響應速度，數(shù)據(jù)質量不佳，直接存儲和分析會影響風險監(jiān)測的準確性；現(xiàn)有方法難以適應復雜多變的風險場景，無法及時發(fā)現(xiàn)新型風險等的技術問題，本發(fā)明要解決的技術問題通過以下技術方案來實現(xiàn)。
2、本發(fā)明第一方面提出一種數(shù)據(jù)管理優(yōu)化方法，包括：基于采集策略，采集各子節(jié)點的日志和業(yè)務數(shù)據(jù)，計算數(shù)據(jù)采集成功率和數(shù)據(jù)采集延遲評估值，以衡量采集情況；將所采集的各子節(jié)點的日志和業(yè)務數(shù)據(jù)傳輸?shù)街醒牍?jié)點，并進行多類數(shù)據(jù)處理，計算確定數(shù)據(jù)處理延遲狀況的量化指標，以優(yōu)化數(shù)據(jù)處理過程；對多類數(shù)據(jù)處理后的數(shù)據(jù)進行實時監(jiān)測，利用自構建的風險事件識別模型識別風險事件，計算所述風險事件的風險評分，其中，包括對風險監(jiān)測結果進行分析計算，以更新風險事件識別模型的監(jiān)測規(guī)則、特征庫；當所計算的風險評分超過預設的閾值時，觸發(fā)告警機制，將告警信息推送給相關子節(jié)點的安全管理人員。
3、本發(fā)明第二方面提出一種數(shù)據(jù)管理優(yōu)化系統(tǒng)，其執(zhí)行本發(fā)明第一方面所述的數(shù)據(jù)管理優(yōu)化方法，所述數(shù)據(jù)管理優(yōu)化系統(tǒng)包括：在數(shù)據(jù)采集層中，基于采集策略，采集各子節(jié)點的日志和業(yè)務數(shù)據(jù)，計算數(shù)據(jù)采集成功率和數(shù)據(jù)采集延遲評估值，以衡量采集情況；數(shù)據(jù)匯聚層將所采集的各子節(jié)點的日志和業(yè)務數(shù)據(jù)傳輸?shù)街醒牍?jié)點，在數(shù)據(jù)處理層進行多類數(shù)據(jù)處理，計算確定數(shù)據(jù)處理延遲狀況的量化指標，以優(yōu)化數(shù)據(jù)處理過程；在風險監(jiān)測層中，對多類數(shù)據(jù)處理后的數(shù)據(jù)進行實時監(jiān)測，利用自構建的風險事件識別模型識別風險事件，計算所述風險事件的風險評分，其中，包括對風險監(jiān)測結果進行分析計算，以更新風險事件識別模型的監(jiān)測規(guī)則、特征庫；在告警下發(fā)層中，當所計算的風險評分超過預設的閾值時，觸發(fā)告警機制，將告警信息推送給相關子節(jié)點的安全管理人員。
4、本發(fā)明第三方面提供一種電子設備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序；當所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)本發(fā)明第一方面所述的的數(shù)據(jù)管理優(yōu)化方法。
5、本發(fā)明第四方面提供一種計算機可讀介質，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)本發(fā)明第一方面所述的數(shù)據(jù)管理優(yōu)化方法。
6、本發(fā)明實施例包括以下優(yōu)點：
7、與現(xiàn)有技術相比，本發(fā)明基于采集策略，采集各子節(jié)點的日志和業(yè)務數(shù)據(jù)，計算數(shù)據(jù)采集成功率和數(shù)據(jù)采集延遲評估值，以衡量采集情況，能夠有效提高子節(jié)點的數(shù)據(jù)采集率；將所采集的各子節(jié)點的日志和業(yè)務數(shù)據(jù)傳輸?shù)街醒牍?jié)點，并進行多類數(shù)據(jù)處理，計算確定數(shù)據(jù)處理延遲狀況的量化指標，能夠有效優(yōu)化數(shù)據(jù)處理過程；對多類數(shù)據(jù)處理后的數(shù)據(jù)進行實時監(jiān)測，利用自構建的風險事件識別模型識別風險事件，計算所述風險事件的風險評分，通過對風險監(jiān)測結果進行分析計算，來更新風險事件識別模型的監(jiān)測規(guī)則、特征庫；當所計算的風險評分超過預設的閾值時，觸發(fā)告警機制，將告警信息推送給相關子節(jié)點的安全管理人員，在優(yōu)化多子節(jié)點的數(shù)據(jù)采集過程、數(shù)據(jù)處理過程的同時，有效實現(xiàn)了同步風險事件識別和實時告警。
8、此外，通過計算數(shù)據(jù)處理延遲指標，以用于評估數(shù)據(jù)分析層對數(shù)據(jù)的處理效率，來優(yōu)化數(shù)據(jù)處理過程；通過持續(xù)將數(shù)據(jù)處理的相關參數(shù)實時回傳至后臺服務器以進行統(tǒng)計與計算，能夠精準輸出數(shù)據(jù)處理延遲狀況的量化指標，能夠精準評估系統(tǒng)運行效率。
9、此外，通過上述根據(jù)風險事件的嚴重程度、影響范圍和發(fā)生頻率等因素計算待處理風險事件的風險評分，能夠精確量化待處理風險事件。
1.一種數(shù)據(jù)管理優(yōu)化方法，其特征在于，所述數(shù)據(jù)管理優(yōu)化方法包括：
2.根據(jù)權利要求1所述的數(shù)據(jù)管理優(yōu)化方法，其特征在于，
3.根據(jù)權利要求2所述的數(shù)據(jù)管理優(yōu)化方法，其特征在于，進一步包括：
4.根據(jù)權利要求1所述的數(shù)據(jù)管理優(yōu)化方法，其特征在于，所述基于采集策略，采集各子節(jié)點的日志和業(yè)務數(shù)據(jù)，計算數(shù)據(jù)采集成功率和數(shù)據(jù)采集延遲評估值，以衡量采集情況，包括：
5.根據(jù)權利要求4所述的數(shù)據(jù)管理優(yōu)化方法，其特征在于，進一步包括：
6.根據(jù)權利要求1所述的數(shù)據(jù)管理優(yōu)化方法，其特征在于，進一步包括：
7.根據(jù)權利要求6所述的數(shù)據(jù)管理優(yōu)化方法，其特征在于，進一步包括：
8.根據(jù)權利要求6所述的數(shù)據(jù)管理優(yōu)化方法，其特征在于，
9.一種數(shù)據(jù)管理優(yōu)化系統(tǒng)，其特征在于，其執(zhí)行權利要求1至8中任一項所述的數(shù)據(jù)管理優(yōu)化方法，所述數(shù)據(jù)管理優(yōu)化系統(tǒng)包括：
10.根據(jù)權利要求9所述的數(shù)據(jù)管理優(yōu)化系統(tǒng)，其特征在于，包括：