午夜毛片免费看,老师老少妇黄色网站,久久本道综合久久伊人,伊人黄片子

高效協(xié)作學(xué)習(xí)的訓(xùn)練方法及裝置

文檔序號(hào):39729664發(fā)布日期:2024-10-22 13:34閱讀:來(lái)源:國(guó)知局

技術(shù)特征:

1.一種高效協(xié)作學(xué)習(xí)的訓(xùn)練方法,所述協(xié)作學(xué)習(xí)的參與方包括聚合節(jié)點(diǎn)和多個(gè)本地節(jié)點(diǎn),其特征在于,所述方法包括以下步驟:

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,根據(jù)所述全局梯度均值向量、所述全局協(xié)方差矩陣以及各個(gè)所述本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣,通過(guò)以下公式確定各個(gè)所述本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù):

3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述聚合節(jié)點(diǎn)根據(jù)所述多個(gè)本地節(jié)點(diǎn)更新后的模型參數(shù)確定所述全局模型的模型參數(shù),包括:

4.根據(jù)權(quán)利要求1所述的方法,其特征在于,還包括:

5.一種高效協(xié)作學(xué)習(xí)的訓(xùn)練裝置,所述協(xié)作學(xué)習(xí)的參與方包括聚合節(jié)點(diǎn)和多個(gè)本地節(jié)點(diǎn),其特征在于,包括:

6.根據(jù)權(quán)利要求5所述的裝置,其特征在于,所述第四確定模塊具體用于:根據(jù)所述全局梯度均值向量、所述全局協(xié)方差矩陣以及各個(gè)所述本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣,通過(guò)以下公式確定各個(gè)所述本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù):

7.根據(jù)權(quán)利要求5所述的裝置,其特征在于,所述第五確定模塊包括:

8.根據(jù)權(quán)利要求5所述的裝置,其特征在于,還包括質(zhì)量評(píng)估模塊;所述質(zhì)量評(píng)估模塊用于:

9.一種電子設(shè)備,其特征在于,包括:處理器,以及與所述處理器通信連接的存儲(chǔ)器;

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令,所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如權(quán)利要求1-4中任一項(xiàng)所述的方法。


技術(shù)總結(jié)
本公開(kāi)提出一種高效協(xié)作學(xué)習(xí)的訓(xùn)練方法及裝置,涉及協(xié)作學(xué)習(xí)技術(shù)領(lǐng)域。其中,方法包括:利用各個(gè)本地節(jié)點(diǎn)上的本地樣本數(shù)據(jù)計(jì)算對(duì)應(yīng)本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣,以及全局梯度均值向量和全局協(xié)方差矩陣;根據(jù)全局梯度均值向量、全局協(xié)方差矩陣以及各個(gè)本地模型的梯度均值向量和梯度向量的協(xié)方差矩陣,確定各個(gè)本地節(jié)點(diǎn)的最優(yōu)本地更新次數(shù),并使每個(gè)本地節(jié)點(diǎn)根據(jù)最優(yōu)本地更新次數(shù)進(jìn)行本地更新。本公開(kāi)根據(jù)各本地節(jié)點(diǎn)的梯度向量為不同信息豐富程度的本地節(jié)點(diǎn)分配最優(yōu)本地更新次數(shù),使其在模型傳輸中能夠攜帶更多有效信息上傳給聚合節(jié)點(diǎn),由此提升信息傳輸效率,優(yōu)化梯度信噪比,加速協(xié)作學(xué)習(xí)的模型收斂速度。

技術(shù)研發(fā)人員:徐恪,譚崎,趙乙,李琦
受保護(hù)的技術(shù)使用者:清華大學(xué)
技術(shù)研發(fā)日:
技術(shù)公布日:2024/10/21
當(dāng)前第2頁(yè)1 2 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1