本技術(shù)涉及軟件,尤其涉及一種生成內(nèi)容檢測(cè)方法及相關(guān)裝置。
背景技術(shù):
1、現(xiàn)階段,生成式人工智能(generative?ai)在諸如圖像、視頻等內(nèi)容創(chuàng)作方向得到了快速發(fā)展,生成內(nèi)容(比如圖像生成算法的生成圖像、視頻生成算法的生成視頻)可以達(dá)到以假亂真的程度。
2、在對(duì)生成內(nèi)容進(jìn)行檢測(cè)時(shí),往往只能針對(duì)特定的內(nèi)容生成算法,一旦內(nèi)容生成算法更新,其泛化性就會(huì)大打折扣,這就導(dǎo)致檢測(cè)的準(zhǔn)確率會(huì)大幅下降。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述問題,本技術(shù)提供了一種生成內(nèi)容檢測(cè)方法及相關(guān)裝置,以實(shí)現(xiàn)在不損失泛化性的前提下有效識(shí)別生成內(nèi)容的目的。具體方案如下:
2、本技術(shù)第一方面提供一種生成內(nèi)容檢測(cè)方法,所述生成內(nèi)容檢測(cè)方法包括:
3、獲取待檢測(cè)的目標(biāo)內(nèi)容;
4、調(diào)取預(yù)先訓(xùn)練的內(nèi)容分類模型,所述內(nèi)容分類模型能夠提取不同內(nèi)容生成算法的內(nèi)容特征、并通過特征融合進(jìn)行分類;其中,所述內(nèi)容分類模型的訓(xùn)練過程,包括構(gòu)建基礎(chǔ)模型,所述模型中包含特征提取層、特征融合網(wǎng)絡(luò)和分類頭,所述特征提取層中包含多個(gè)預(yù)先訓(xùn)練的特征提取器,一個(gè)特征提取器對(duì)應(yīng)一個(gè)內(nèi)容生成算法;獲取訓(xùn)練數(shù)據(jù)集合,所述訓(xùn)練數(shù)據(jù)集合中包含真實(shí)內(nèi)容、以及每個(gè)特征提取器對(duì)應(yīng)的內(nèi)容生成算法所生成的生成內(nèi)容;從所述真實(shí)內(nèi)容和所述生成內(nèi)容中選取本次訓(xùn)練的樣本內(nèi)容,對(duì)所述樣本內(nèi)容標(biāo)注分類標(biāo)簽,將所述樣本內(nèi)容輸入至所述基礎(chǔ)模型中,以對(duì)所述基礎(chǔ)模型進(jìn)行訓(xùn)練,直至損失函數(shù)值滿足對(duì)應(yīng)的收斂條件時(shí),結(jié)束訓(xùn)練;將結(jié)束訓(xùn)練后的所述基礎(chǔ)模型作為所述內(nèi)容分類模型;
5、將所述目標(biāo)內(nèi)容輸入至所述內(nèi)容分類模型中,通過所述內(nèi)容分類模型預(yù)測(cè)所述目標(biāo)內(nèi)容的目標(biāo)分類結(jié)果,所述目標(biāo)分類結(jié)果用于表征所述目標(biāo)內(nèi)容是否屬于生成內(nèi)容。
6、在一種可能的實(shí)現(xiàn)中,所述目標(biāo)內(nèi)容為目標(biāo)圖像、所述內(nèi)容分類模型為圖像分類模型、所述內(nèi)容生成算法為圖像生成算法、所述內(nèi)容特征為圖像特征、所述生成內(nèi)容為生成圖像;
7、所述圖像分類模型的訓(xùn)練過程,包括:
8、構(gòu)建第一基礎(chǔ)模型,所述第一基礎(chǔ)模型中包含第一特征提取層、第一特征融合網(wǎng)絡(luò)和第一分類頭,所述第一特征提取層中包含多個(gè)預(yù)先訓(xùn)練的第一特征提取器,一個(gè)第一特征提取器對(duì)應(yīng)一個(gè)圖像生成算法;
9、獲取第一訓(xùn)練數(shù)據(jù)集合,所述第一訓(xùn)練數(shù)據(jù)集合中包含第一真實(shí)圖像、以及每個(gè)第一特征提取器對(duì)應(yīng)的圖像生成算法所生成的第一生成圖像;
10、從所述第一真實(shí)圖像和所述第一生成圖像中選取本次訓(xùn)練的第一樣本圖像,對(duì)所述第一樣本圖像標(biāo)注第一分類標(biāo)簽,將所述第一樣本圖像輸入至所述第一基礎(chǔ)模型中,以實(shí)現(xiàn):
11、通過每個(gè)第一特征提取器提取所述第一樣本圖像的第一圖像特征;對(duì)每個(gè)第一特征提取器提取到的所述第一圖像特征進(jìn)行拼接、并加入可學(xué)習(xí)的第一特征變量;通過所述第一特征融合網(wǎng)絡(luò)對(duì)加入所述第一特征變量的所述第一圖像特征進(jìn)行基于自注意力機(jī)制的融合學(xué)習(xí),得到第二圖像特征;從所述第二圖像特征中提取所述第一特征變量對(duì)應(yīng)的特征,并將提取到的特征輸出給所述第一分類頭;通過所述第一分類頭對(duì)其所獲得的特征進(jìn)行分類預(yù)測(cè),得到所述第一樣本圖像的第一分類結(jié)果,所述第一分類結(jié)果用于表征所述第一樣本圖像是否屬于所述生成圖像;根據(jù)所述第一分類結(jié)果和所述第一分類標(biāo)簽計(jì)算所述第一樣本圖像的第一損失函數(shù)值,根據(jù)所述第一損失函數(shù)值更新所述第一特征融合網(wǎng)絡(luò)和所述第一分類頭的權(quán)重參數(shù),并返回執(zhí)行所述從所述第一真實(shí)圖像和所述第一生成圖像中選取本次訓(xùn)練的第一樣本圖像這一步驟,直到所述第一損失函數(shù)值滿足對(duì)應(yīng)的第一收斂條件時(shí),結(jié)束訓(xùn)練;
12、將結(jié)束訓(xùn)練后的所述第一基礎(chǔ)模型作為所述圖像分類模型。
13、在一種可能的實(shí)現(xiàn)中,每個(gè)第一特征提取器的訓(xùn)練過程,包括:
14、構(gòu)建第二基礎(chǔ)模型,所述第二基礎(chǔ)模型中包含第一原始特征提取器和第二分類頭,所述第一原始特征提取器中包含單個(gè)第一特征提取網(wǎng)絡(luò);
15、獲取第二訓(xùn)練數(shù)據(jù)集合,所述第二訓(xùn)練數(shù)據(jù)集合中包含第二真實(shí)圖像、以及目標(biāo)圖像生成算法所生成的第二生成圖像,所述目標(biāo)圖像生成算法為待訓(xùn)練的第一特征提取器對(duì)應(yīng)的圖像生成算法;
16、從所述第二真實(shí)圖像和所述第二生成圖像中選取本次訓(xùn)練的第二樣本圖像,對(duì)所述第二樣本圖像標(biāo)注第二分類標(biāo)簽,將所述第二樣本圖像輸入至所述第二基礎(chǔ)模型中,以實(shí)現(xiàn):
17、通過所述第一特征提取網(wǎng)絡(luò)提取所述第二樣本圖像的第三圖像特征;通過所述第二分類頭對(duì)所述第三圖像特征進(jìn)行分類預(yù)測(cè),得到所述第二樣本圖像的第二分類結(jié)果,所述第二分類結(jié)果用于表征所述第二樣本圖像是否屬于所述生成圖像;根據(jù)所述第二分類結(jié)果和所述第二分類標(biāo)簽計(jì)算所述第二樣本圖像的第二損失函數(shù)值,根據(jù)所述第二損失函數(shù)值更新所述第一特征提取網(wǎng)絡(luò)和所述第二分類頭的權(quán)重參數(shù),并返回執(zhí)行所述從所述第二真實(shí)圖像和所述第二生成圖像中選取本次訓(xùn)練的第二樣本圖像這一步驟,直到所述第二損失函數(shù)值滿足對(duì)應(yīng)的第二收斂條件時(shí),結(jié)束訓(xùn)練;
18、將結(jié)束訓(xùn)練后的所述第一原始特征提取器作為所述目標(biāo)圖像生成算法對(duì)應(yīng)的第一特征提取器。
19、在一種可能的實(shí)現(xiàn)中,所述獲取第一訓(xùn)練數(shù)據(jù)集合,包括:
20、按照所述第一特征提取層中多個(gè)第一特征提取器的數(shù)量,對(duì)每個(gè)第一特征提取器對(duì)應(yīng)的圖像生成算法所生成的第三生成圖像進(jìn)行采樣;
21、將采樣到的所述第三生成圖像作為所述第一生成圖像;
22、抓取所述第一真實(shí)圖像,所述第一真實(shí)圖像的數(shù)量與所述第一生成圖像的數(shù)量相同。
23、在一種可能的實(shí)現(xiàn)中,所述圖像分類模型的訓(xùn)練過程,還包括:
24、響應(yīng)圖像生成算法更新指令,返回執(zhí)行所述構(gòu)建第一基礎(chǔ)模型。
25、在一種可能的實(shí)現(xiàn)中,所述目標(biāo)內(nèi)容為目標(biāo)視頻、所述內(nèi)容分類模型為視頻分類模型、所述內(nèi)容生成算法為視頻生成算法、所述內(nèi)容特征為視頻特征、所述生成內(nèi)容為生成視頻;
26、所述視頻分類模型的訓(xùn)練過程,包括:
27、構(gòu)建第三基礎(chǔ)模型,所述第三基礎(chǔ)模型中包含第二特征提取層、第二特征融合網(wǎng)絡(luò)和第三分類頭,所述第二特征提取層中包含多個(gè)預(yù)先訓(xùn)練的第二特征提取器,一個(gè)第二特征提取器對(duì)應(yīng)一個(gè)視頻生成算法;
28、獲取第三訓(xùn)練數(shù)據(jù)集合,所述第三訓(xùn)練數(shù)據(jù)集合中包含第一真實(shí)視頻、以及每個(gè)第二特征提取器對(duì)應(yīng)的視頻生成算法所生成的第一生成視頻;
29、從所述第一真實(shí)視頻和所述第一生成視頻中選取本次訓(xùn)練的第一樣本視頻,對(duì)所述第一樣本視頻標(biāo)注第三分類標(biāo)簽,將所述第一樣本視頻輸入至所述第三基礎(chǔ)模型中,以實(shí)現(xiàn):
30、通過每個(gè)第二特征提取器提取所述第一樣本視頻的第一視頻特征,所述第一視頻特征中的部分特征屬于可學(xué)習(xí)的第二特征變量;通過所述第二特征融合網(wǎng)絡(luò)對(duì)每個(gè)第二特征提取器提取到的所述第一視頻特征進(jìn)行基于交叉注意力機(jī)制的融合學(xué)習(xí),得到第二視頻特征;從所述第二視頻特征中提取所述第二特征變量對(duì)應(yīng)的特征,并將提取到的特征輸出給所述第三分類頭;通過所述第三分類頭對(duì)其所獲得的特征進(jìn)行分類預(yù)測(cè),得到所述第一樣本視頻的第三分類結(jié)果,所述第三分類結(jié)果用于表征所述第一樣本視頻是否屬于所述生成視頻;根據(jù)所述第三分類結(jié)果和所述第三分類標(biāo)簽計(jì)算所述第一樣本視頻的第三損失函數(shù)值,根據(jù)所述第三損失函數(shù)值更新所述第二特征融合網(wǎng)絡(luò)和所述第三分類頭的權(quán)重參數(shù),并返回執(zhí)行所述從所述第一真實(shí)視頻和所述第一生成視頻中選取本次訓(xùn)練的第一樣本視頻這一步驟,直到所述第三損失函數(shù)值滿足對(duì)應(yīng)的第三收斂條件時(shí),結(jié)束訓(xùn)練;
31、將結(jié)束訓(xùn)練的所述第三基礎(chǔ)模型作為所述視頻分類模型。
32、在一種可能的實(shí)現(xiàn)中,每個(gè)第二特征提取器的訓(xùn)練過程,包括:
33、構(gòu)建第四基礎(chǔ)模型,所述第四基礎(chǔ)模型中包含第二原始特征提取器和第四分類頭,所述第二原始特征提取器包含多個(gè)第二特征提取網(wǎng)絡(luò)和第三特征融合網(wǎng)絡(luò);
34、獲取第四訓(xùn)練數(shù)據(jù)集合,所述第四訓(xùn)練數(shù)據(jù)集合中包含第二真實(shí)視頻、以及目標(biāo)視頻生成算法所生成的第二生成視頻,所述目標(biāo)視頻生成算法為待訓(xùn)練的第二特征提取器對(duì)應(yīng)的視頻生成算法;
35、從所述第二真實(shí)視頻和所述第二生成視頻中選取本次訓(xùn)練的第二樣本視頻,對(duì)所述第二樣本視頻標(biāo)注第四分類標(biāo)簽,將所述第二樣本視頻輸出至所述第四基礎(chǔ)模型中,以實(shí)現(xiàn):
36、通過每個(gè)第二特征提取網(wǎng)絡(luò)提取所述第二樣本視頻的第三視頻特征;對(duì)每個(gè)第二特征提取網(wǎng)絡(luò)提取到的所述第三視頻特征進(jìn)行拼接,并加入可學(xué)習(xí)的第三特征變量;通過所述第三特征融合網(wǎng)絡(luò)對(duì)加入所述第三特征變量的所述第三視頻特征進(jìn)行基于自注意力機(jī)制的融合學(xué)習(xí),得到第四視頻特征;從所述第四視頻特征中提取所述第三特征變量對(duì)應(yīng)的特征,并將提取到的特征輸出給所述第四分類頭;通過所述第四分類頭對(duì)其所獲得的特征進(jìn)行分類預(yù)測(cè),得到所述第二樣本視頻的第四分類結(jié)果,所述第四分類結(jié)果用于表征所述第二樣本視頻是否屬于所述生成視頻;根據(jù)所述第四分類結(jié)果和所述第四分類標(biāo)簽計(jì)算所述第二樣本視頻的第四損失函數(shù)值,根據(jù)所述第四損失函數(shù)值更新所述多個(gè)第二特征提取網(wǎng)絡(luò)、所述第三特征融合網(wǎng)絡(luò)和所述第四分類頭的權(quán)重參數(shù),并返回執(zhí)行所述從所述第二真實(shí)視頻和所述第二生成視頻中選取本次訓(xùn)練的第二樣本視頻這一步驟,直到所述第四損失函數(shù)值滿足對(duì)應(yīng)的第四收斂條件時(shí),結(jié)束訓(xùn)練;
37、將結(jié)束訓(xùn)練后的所述第二原始特征提取器作為所述目標(biāo)視頻生成算法對(duì)應(yīng)的第二特征提取器。
38、在一種可能的實(shí)現(xiàn)中,所述獲取第三訓(xùn)練數(shù)據(jù)集合,包括:
39、按照所述第二特征提取層中多個(gè)第二特征提取器的數(shù)量,對(duì)每個(gè)第二特征提取器對(duì)應(yīng)的視頻生成算法所生成的第三生成視頻進(jìn)行采樣;
40、將采樣到的所述第三生成視頻作為所述第一生成視頻;
41、抓取所述第一真實(shí)視頻,所述第一真實(shí)視頻的數(shù)量與所述第一生成視頻的數(shù)量相同。
42、在一種可能的實(shí)現(xiàn)中,所述視頻分類模型的訓(xùn)練過程,還包括:
43、響應(yīng)視頻生成算法更新指令,返回執(zhí)行所述構(gòu)建第三基礎(chǔ)模型。
44、本技術(shù)第二方面提供一種生成內(nèi)容檢測(cè)裝置,所述生成內(nèi)容檢測(cè)裝置包括:
45、內(nèi)容獲取模塊,用于獲取待檢測(cè)的目標(biāo)內(nèi)容;
46、內(nèi)容檢測(cè)模塊,用于調(diào)取預(yù)先訓(xùn)練的內(nèi)容分類模型,所述內(nèi)容分類模型能夠提取不同內(nèi)容生成算法的內(nèi)容特征、并通過特征融合進(jìn)行分類;將所述目標(biāo)內(nèi)容輸入至所述內(nèi)容分類模型中,通過所述內(nèi)容分類模型預(yù)測(cè)所述目標(biāo)內(nèi)容的目標(biāo)分類結(jié)果,所述目標(biāo)分類結(jié)果用于表征所述目標(biāo)內(nèi)容是否屬于生成內(nèi)容。
47、本技術(shù)第三方面提供一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)可讀指令,當(dāng)所述計(jì)算機(jī)可讀指令在電子設(shè)備上運(yùn)行時(shí),使得所述電子設(shè)備實(shí)現(xiàn)上述第一方面或第一方面任一實(shí)現(xiàn)方式的生成內(nèi)容檢測(cè)方法。
48、本技術(shù)第四方面提供一種電子設(shè)備,包括至少一個(gè)處理器和與所述處理器連接的存儲(chǔ)器,其中:
49、所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序;
50、所述處理器用于執(zhí)行所述計(jì)算機(jī)程序,以使所述電子設(shè)備能夠?qū)崿F(xiàn)第一方面或第一方面任一實(shí)現(xiàn)方式的生成內(nèi)容檢測(cè)方法。
51、本技術(shù)第五方面提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì),所述存儲(chǔ)介質(zhì)承載有一個(gè)或多個(gè)計(jì)算機(jī)程序,當(dāng)所述一個(gè)或多個(gè)計(jì)算機(jī)程序被電子設(shè)備執(zhí)行時(shí),能夠使所述電子設(shè)備實(shí)現(xiàn)第一方面或第一方面任一實(shí)現(xiàn)方式的生成內(nèi)容檢測(cè)方法。
52、借由上述技術(shù)方案,本技術(shù)提供的一種生成內(nèi)容檢測(cè)方法及相關(guān)裝置,預(yù)先訓(xùn)練內(nèi)容分類模型,該內(nèi)容分類模型能夠提取不同內(nèi)容生成算法的內(nèi)容特征并通過特征融合進(jìn)行分類。獲取待檢測(cè)的目標(biāo)內(nèi)容,進(jìn)而調(diào)取內(nèi)容分類模型,進(jìn)一步將目標(biāo)內(nèi)容輸入至內(nèi)容分類模型中,通過內(nèi)容分類模型預(yù)測(cè)目標(biāo)內(nèi)容的目標(biāo)分類結(jié)果,目標(biāo)分類結(jié)果用于表征目標(biāo)內(nèi)容是否屬于生成內(nèi)容。本技術(shù)能夠?qū)⒉煌瑑?nèi)容生成算法的內(nèi)容特征進(jìn)行融合來訓(xùn)練內(nèi)容分類模型,這就使得該內(nèi)容分類模型在新老內(nèi)容生成算法上泛化性、準(zhǔn)確性都很高,從而保證生成內(nèi)容檢測(cè)的準(zhǔn)確率。