本申請實施例涉及人工智能，尤其涉及一種訓(xùn)練方法、裝置、存算系統(tǒng)和電子設(shè)備。

背景技術(shù)：

1、隨著人工智能(artificialintelligence，ai)技術(shù)的快速發(fā)展，ai模型(例如，神經(jīng)網(wǎng)絡(luò)模型)在各類智能應(yīng)用中發(fā)揮著越來越重要的作用。ai模型在應(yīng)用中，被部署在硬件設(shè)備上，利用硬件資源進(jìn)行計算。ai模型的計算量非常大，存算一體架構(gòu)可以有效解決數(shù)據(jù)在存儲器件和計算器件之間進(jìn)行頻繁傳輸帶來的時延和能耗問題。存算一體架構(gòu)在模擬域的計算可以實現(xiàn)ai模型的運行加速，但是模擬域的計算不可避免的受到器件噪聲的干擾。如何訓(xùn)練得到適用于模擬域的計算的ai模型，例如，在計算時較少受到噪聲干擾的ai模型，成為亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┝艘环N訓(xùn)練方法、裝置、存算系統(tǒng)和電子設(shè)備，用以訓(xùn)練得到在計算時較少受到噪聲干擾的ai模型。

2、第一方面，提供了一種訓(xùn)練方法，該訓(xùn)練方法包括：獲取人工智能模型的第一線性層的第一權(quán)值數(shù)據(jù)和第一輸入；將第一輸入輸入第一線性層并進(jìn)行加噪輸出，得到第一輸出；將第一輸出作為第一線性層的第一權(quán)值數(shù)據(jù)的輸出計算第一權(quán)值數(shù)據(jù)的第一改變值；基于第一權(quán)值數(shù)據(jù)和第一改變值得到第一線性層的第二權(quán)值數(shù)據(jù)。

3、基于上述技術(shù)方案，在人工智能模型的訓(xùn)練過程中，在前向傳播路徑上引入噪聲，而在反向傳播路徑上不考慮噪聲的影響，從而可以訓(xùn)練得到在計算時較少受到噪聲干擾的ai模型，并且加快訓(xùn)練的速度。

4、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，將第一輸入輸入第一線性層并進(jìn)行加噪輸出，得到第一輸出，包括：對第一權(quán)值數(shù)據(jù)進(jìn)行第一處理得到第一線性層的第三權(quán)值數(shù)據(jù)；將第一輸入輸入第一線性層，基于第三權(quán)值數(shù)據(jù)得到第一輸出。

5、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，將第一輸入輸入第一線性層并進(jìn)行加噪輸出，得到第一輸出，包括：將第一輸入輸入第一線性層得到第一線性層的輸出；將第一線性層的輸出輸入噪聲層得到第一輸出。

6、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，將第一輸入輸入第一線性層并進(jìn)行加噪輸出，得到第一輸出，包括：將第一輸入輸入第一線性層得到第一線性層的輸出，并將第一輸入輸入第一線性層的第一噪聲路徑得到第一噪聲路徑的輸出；基于第一線性層的輸出和第一噪聲路徑的輸出得到第一輸出。

7、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，將第一輸出作為第一線性層的第一權(quán)值數(shù)據(jù)的輸出計算第一權(quán)值數(shù)據(jù)的第一改變值，包括：基于損失函數(shù)計算第一輸出的第一梯度；切斷基于第一梯度計算第一噪聲路徑的輸出的梯度的路徑，從而將第一梯度作為第一權(quán)值數(shù)據(jù)的輸出的梯度計算第一權(quán)值數(shù)據(jù)的第一改變值。

8、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，將第一輸入輸入第一線性層的第一噪聲路徑得到第一噪聲路徑的輸出，包括：禁止構(gòu)建第一噪聲路徑對應(yīng)的計算圖，計算圖用于計算第一噪聲路徑的輸出的梯度。

9、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，將第一輸出作為第一線性層的第一權(quán)值數(shù)據(jù)的輸出計算第一權(quán)值數(shù)據(jù)的第一改變值，包括：基于損失函數(shù)計算第一輸出的第一梯度；將第一梯度作為第一權(quán)值數(shù)據(jù)的輸出的梯度計算第一權(quán)值數(shù)據(jù)的第一改變值。

10、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，在加噪輸出中，基于第一噪聲模型進(jìn)行加噪，第一噪聲模型不可微。

11、第二方面，提供了一種訓(xùn)練裝置，包括：至少一個處理器，用于執(zhí)行如第一方面任一種的訓(xùn)練方法；存儲器，用于存儲至少一個處理器訓(xùn)練的結(jié)果。

12、第三方面，提供了一種存算系統(tǒng)，包括：存儲電路，包括存儲單元，用于存儲如第一方面任一種的訓(xùn)練方法訓(xùn)練的結(jié)果。

13、第四方面，提供了一種電子設(shè)備，包括如第三方面的存算系統(tǒng)。

技術(shù)特征：

1.一種訓(xùn)練方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述將第一輸入輸入所述第一線性層并進(jìn)行加噪輸出，得到第一輸出，包括：

3.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述將第一輸入輸入所述第一線性層并進(jìn)行加噪輸出，得到第一輸出，包括：

4.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述將第一輸入輸入所述第一線性層并進(jìn)行加噪輸出，得到第一輸出，包括：

5.根據(jù)權(quán)利要求4所述的訓(xùn)練方法，其特征在于，所述將所述第一輸入輸入所述第一線性層的第一噪聲路徑得到所述第一噪聲路徑的輸出，包括：

6.根據(jù)權(quán)利要求4或5所述的訓(xùn)練方法，其特征在于，所述將第一輸出作為所述第一線性層的第一權(quán)值數(shù)據(jù)的輸出計算所述第一權(quán)值數(shù)據(jù)的第一改變值，包括：

7.根據(jù)權(quán)利要求1至5中任一項所述的訓(xùn)練方法，其特征在于，所述將第一輸出作為所述第一線性層的第一權(quán)值數(shù)據(jù)的輸出計算所述第一權(quán)值數(shù)據(jù)的第一改變值，包括：

8.根據(jù)權(quán)利要求1至7中任一項所述的訓(xùn)練方法，其特征在于，在所述加噪輸出中，基于第一噪聲模型進(jìn)行加噪，所述第一噪聲模型不可微。

9.一種訓(xùn)練裝置，其特征在于，包括：

10.一種存算系統(tǒng)，其特征在于，包括：

11.一種電子設(shè)備，其特征在于，包括如權(quán)利要求10所述的存算系統(tǒng)。

技術(shù)總結(jié)
本申請實施例提供了一種訓(xùn)練方法、裝置、存算系統(tǒng)和電子設(shè)備，用以提升人工智能模型在復(fù)雜噪聲環(huán)境下的性能。該方法包括：獲取人工智能模型的第一線性層的第一權(quán)值數(shù)據(jù)和第一輸入；將第一輸入輸入所述第一線性層并進(jìn)行加噪輸出，得到第一輸出；將第一輸出作為所述第一線性層的第一權(quán)值數(shù)據(jù)的輸出計算所述第一權(quán)值數(shù)據(jù)的第一改變值；基于所述第一權(quán)值數(shù)據(jù)和所述第一改變值得到所述第一線性層的第二權(quán)值數(shù)據(jù)。通過在人工智能模型的訓(xùn)練過程中，在前向傳播路徑上引入噪聲，而在反向傳播路徑上不考慮噪聲的影響，從而可以訓(xùn)練得到在計算時較少受到噪聲干擾的AI模型，并且加快訓(xùn)練的速度。

技術(shù)研發(fā)人員：馮源諾,周文涌,呂粵希,張翼翔
受保護(hù)的技術(shù)使用者：北京知存科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/11/3