本發(fā)明涉及數(shù)據(jù)檢測，特別是一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法、系統(tǒng)、設(shè)備及介質(zhì)。
背景技術(shù)：
1、構(gòu)建高效能且能及時響應(yīng)的網(wǎng)絡(luò)入侵檢測系統(tǒng)是保護信息安全的關(guān)鍵一環(huán)。該系統(tǒng)的核心在于能對海量的網(wǎng)絡(luò)數(shù)據(jù)進行精準(zhǔn)分析，以有效辨別和阻止?jié)撛诘木W(wǎng)絡(luò)攻擊行為。然而，網(wǎng)絡(luò)入侵檢測數(shù)據(jù)集往往呈現(xiàn)出明顯的類別不平衡狀況，即正常流量數(shù)據(jù)量級遠(yuǎn)超攻擊樣本，也是當(dāng)前研究工作面臨的一大挑戰(zhàn)。由于攻擊樣本遠(yuǎn)少于正常流量樣本，網(wǎng)絡(luò)入侵檢測系統(tǒng)很難從數(shù)據(jù)中學(xué)到足夠的攻擊特征，容易導(dǎo)致檢測性能不佳，尤其是在識別稀有攻擊模式時。數(shù)據(jù)不平衡還可能增加誤報(將正常流量錯判為攻擊)和漏報(未檢測到真正的攻擊)的風(fēng)險等各種局限性。類別不平衡問題已有許多成熟方法進行處理，最常見的做法是重采樣方法，例如隨機欠采樣多數(shù)類樣本使得類別分布平衡，或者通過插值等方法過采樣少數(shù)類樣本使得類別分布平衡。但是隨機欠采樣直接刪除正常樣本會破壞流量統(tǒng)計規(guī)律，造成信息丟失而誤導(dǎo)模型訓(xùn)練；基于插值等過采樣方法在高維稀疏空間生成合成樣本容易引入噪聲，放大攻擊特征差異，難以學(xué)習(xí)到有效的少數(shù)類樣本模式。此外，這兩類方法均采取隨機方法選擇樣本，忽略了不同樣本對類別不平衡的敏感性不同，即不同樣本對于決策邊界的學(xué)習(xí)有不同的重要性，現(xiàn)有方法忽略這一特性而導(dǎo)致訓(xùn)練得到的分類器泛化能力受限。
技術(shù)實現(xiàn)思路
1、鑒于上述存在的問題，提出了本發(fā)明。
2、因此，本發(fā)明所要解決的問題在于：現(xiàn)有方法均采取隨機方法選擇樣本，忽略了不同樣本對類別不平衡的敏感性不同，即不同樣本對于決策邊界的學(xué)習(xí)有不同的重要性，現(xiàn)有方法忽略這一特性而導(dǎo)致訓(xùn)練得到的分類器泛化能力受限。
3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法，其包括，獲取包含正常流量和攻擊流量的網(wǎng)絡(luò)數(shù)據(jù)，對所述網(wǎng)絡(luò)數(shù)據(jù)進行特征提取，并根據(jù)所提取的特征將網(wǎng)絡(luò)數(shù)據(jù)劃分為正常流量樣本和攻擊流量樣本；分別計算每個樣本的先驗概率和類條件概率，得到后驗概率，并基于貝葉斯方法計算每個樣本在類別不平衡條件下的敏感性權(quán)重；對正常流量樣本，按照敏感性權(quán)重進行有放回的欠采樣，保留敏感性高于閾值的樣本；對攻擊流量樣本，按照敏感性權(quán)重進行有放回的過采樣，并通過k近鄰插值方式生成新的合成樣本；重復(fù)采樣過程生成若干個平衡訓(xùn)練子集，分別基于每一平衡訓(xùn)練子集，訓(xùn)練基分類器；基于各基分類器在驗證集上的性能評估指標(biāo)計算投票權(quán)重，基于投票權(quán)重得到加權(quán)投票結(jié)果，對未知網(wǎng)絡(luò)流量樣本進行最終分類。
4、作為本發(fā)明所述一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的一種優(yōu)選方案，其中：在對所述網(wǎng)絡(luò)數(shù)據(jù)進行特征提取前，還包括：對采集到的網(wǎng)絡(luò)數(shù)據(jù)進行去重、缺失值填補、異常值處理操作；對所述網(wǎng)絡(luò)數(shù)據(jù)提取的特征包括但不限于時空特征、協(xié)議特征、統(tǒng)計特征、會話級特征。
5、作為本發(fā)明所述一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的一種優(yōu)選方案，其中：所述分別計算兩個類別樣本的先驗概率和類條件概率包括：從預(yù)處理后的特征數(shù)據(jù)中統(tǒng)計正常流量和攻擊流量樣本數(shù)量，計算在不平衡狀態(tài)下的先驗概率；其中，先驗概率包括：正常流量先驗概率和攻擊流量先驗概率；正常流量先驗概率為正常流量樣本數(shù)占總樣本數(shù)的比例；攻擊流量先驗概率為攻擊流量樣本數(shù)占總樣本數(shù)的比例；對每個類別的樣本分別計算每個特征的均值和方差，進而對每個類別的樣本的類條件概率進行估計。
6、作為本發(fā)明所述一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的一種優(yōu)選方案，其中：所述后驗概率由先驗概率與類條件概率相乘得到；所述基于貝葉斯方法計算每個樣本在類別不平衡條件下的敏感性權(quán)重包括：將得到的后驗概率進行組合做差得到每個樣本的敏感性分值，并將敏感性分值歸一化到0至1之間得到敏感性權(quán)重。
7、作為本發(fā)明所述一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的一種優(yōu)選方案，其中：所述通過k近鄰插值方式生成新的合成樣本包括，對于被采樣的攻擊流量樣本，從k個最近鄰中隨機選取一個鄰居，在樣本與鄰居之間以隨機比例進行線性插值，生成新的攻擊流量樣本，插值比例服從[0，1]均勻分布。
8、作為本發(fā)明所述一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的一種優(yōu)選方案，其中：所述重復(fù)采樣過程生成若干個平衡訓(xùn)練子集包括，將正常流量樣本欠采樣結(jié)果與攻擊流量樣本過采樣結(jié)果合并，構(gòu)成一個平衡訓(xùn)練子集，重復(fù)若干個輪次，以生成若干個平衡訓(xùn)練子集。
9、作為本發(fā)明所述一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的一種優(yōu)選方案，其中：所述加權(quán)投票結(jié)果的計算公式表示為，
10、
11、其中，表示為取使得表達(dá)式值最大的y，t表示為基分類器總數(shù)，ct(x)表示為第t個基分類器輸出，wt表示為第t個基分類器的投票權(quán)重，δ(·)表示為指示函數(shù)，當(dāng)括號內(nèi)條件成立時取值為1，否則取值為0，y表示為當(dāng)前投票候選類別標(biāo)簽包括正常流量類別和攻擊流量類別，用于遍歷所有可能的分類結(jié)果。
12、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣系統(tǒng)，包括：數(shù)據(jù)預(yù)處理模塊、敏感性計算模塊和集成采樣與分類模塊；所述數(shù)據(jù)預(yù)處理模塊獲取包含正常流量和攻擊流量的網(wǎng)絡(luò)數(shù)據(jù)，對所述網(wǎng)絡(luò)數(shù)據(jù)進行特征提取，并根據(jù)所提取的特征將網(wǎng)絡(luò)數(shù)據(jù)劃分為正常流量樣本和攻擊流量樣本；所述敏感性計算模塊分別計算每個樣本的先驗概率和類條件概率，得到后驗概率，并基于貝葉斯方法計算每個樣本在類別不平衡條件下的敏感性權(quán)重；所述集成采樣與分類模塊對正常流量樣本，按照敏感性權(quán)重進行有放回的欠采樣，保留敏感性高于閾值的樣本；對攻擊流量樣本，按照敏感性權(quán)重進行有放回的過采樣，并通過k近鄰插值方式生成新的合成樣本；重復(fù)采樣過程生成若干個平衡訓(xùn)練子集，分別基于每一平衡訓(xùn)練子集，訓(xùn)練基分類器；基于各基分類器在驗證集上的性能評估指標(biāo)計算投票權(quán)重，基于投票權(quán)重得到加權(quán)投票結(jié)果，對未知網(wǎng)絡(luò)流量樣本進行最終分類。
13、一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上所述一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的步驟。
14、一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上所述一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的步驟。
15、本發(fā)明有益效果為：本發(fā)明通過計算樣本敏感性來衡量樣本重要性，敏感性計算僅需簡單估計先驗與類條件概率密度，與其它隨機采樣方法相比沒有明顯增加復(fù)雜度，這對于大規(guī)模網(wǎng)絡(luò)流量數(shù)據(jù)場景極為重要。
16、隨機欠采樣忽略邊界樣本對于決策邊界學(xué)習(xí)的重要性，而通過敏感性加權(quán)采樣可以引導(dǎo)模型對邊界樣本的采樣，從而避免重要信息丟失。
17、基于插值的過采樣方法在有噪聲情況下容易引入新的噪聲，而通過敏感性加權(quán)采樣可以降低噪聲采樣概率，進而避免新噪聲的引入。
1.一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法，其特征在于：包括，
2.如權(quán)利要求1所述的一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法，其特征在于：在對所述網(wǎng)絡(luò)數(shù)據(jù)進行特征提取前，還包括：
3.如權(quán)利要求2所述的一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法，其特征在于：所述分別計算兩個類別樣本的先驗概率和類條件概率包括：
4.如權(quán)利要求3所述的一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法，其特征在于：所述后驗概率由先驗概率與類條件概率相乘得到；
5.如權(quán)利要求4所述的一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法，其特征在于：所述通過k近鄰插值方式生成新的合成樣本包括，對于被采樣的攻擊流量樣本，從k個最近鄰中隨機選取一個鄰居，在樣本與鄰居之間以隨機比例進行線性插值，生成新的攻擊流量樣本，插值比例服從[0，1]均勻分布。
6.如權(quán)利要求5所述的一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法，其特征在于：所述重復(fù)采樣過程生成若干個平衡訓(xùn)練子集包括，將正常流量樣本欠采樣結(jié)果與攻擊流量樣本過采樣結(jié)果合并，構(gòu)成一個平衡訓(xùn)練子集，重復(fù)若干個輪次，以生成若干個平衡訓(xùn)練子集。
7.如權(quán)利要求6所述的一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法，其特征在于：所述加權(quán)投票結(jié)果的計算公式表示為，
8.一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣系統(tǒng)，應(yīng)用如權(quán)利要求1～7任一項所述的一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法，其特征在于：包括數(shù)據(jù)預(yù)處理模塊、敏感性計算模塊和集成采樣與分類模塊；
9.一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于：所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至7中任一項所述的一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的步驟。
10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于：所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至7中任一項所述的一種基于敏感性的網(wǎng)絡(luò)入侵檢測重采樣方法的步驟。