本發(fā)明涉及視頻處理領(lǐng)域，具體而言，涉及一種基于視頻解析的車輛故障快速記錄方法、裝置、計算機設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)：

1、在現(xiàn)代社會，汽車已經(jīng)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡慕煌üぞ?。然而，隨著汽車使用頻率的增加，車輛故障也變得越來越常見。為了有效地解決車輛故障問題，快速且準(zhǔn)確地記錄故障信息顯得尤為重要。傳統(tǒng)的車輛故障記錄方式主要依賴于人工筆錄或簡單的電子記錄，這種方式雖然簡單易行，但存在信息記錄不全、效率低下以及容易出錯等問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于視頻解析的車輛故障快速記錄方法、裝置、計算機設(shè)備及可讀存儲介質(zhì)。

2、第一方面，本發(fā)明實施例提供一種基于視頻解析的車輛故障快速記錄方法，包括：

3、獲取當(dāng)前車輛故障錄制視頻，所述當(dāng)前車輛故障錄制視頻包括用戶口述故障音頻數(shù)據(jù)和錄制視頻數(shù)據(jù)；

4、從所述用戶口述故障音頻數(shù)據(jù)確定關(guān)鍵文本信息，并從所述關(guān)鍵文本信息中確定出車輛故障文本檢測結(jié)果；

5、根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中確定出車輛故障視覺檢測結(jié)果；

6、將所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果進行融合，得到車輛故障多模態(tài)檢測結(jié)果；

7、根據(jù)所述車輛故障多模態(tài)檢測結(jié)果，確定出所述當(dāng)前車輛故障錄制視頻對應(yīng)的車輛故障記錄結(jié)果。

8、在本發(fā)明實施例中，所述從所述用戶口述故障音頻數(shù)據(jù)確定關(guān)鍵文本信息，并從所述關(guān)鍵文本信息中確定出車輛故障文本檢測結(jié)果，包括：

9、利用預(yù)先設(shè)置的自動語音識別技術(shù)，從所述用戶口述故障音頻數(shù)據(jù)中確定出關(guān)鍵文本信息；

10、將所述關(guān)鍵文本信息輸入預(yù)先訓(xùn)練的大語言模型進行實體識別，得到車輛故障文本實體；

11、將所述車輛故障文本實體輸入預(yù)選訓(xùn)練的nlp模型進行實體標(biāo)準(zhǔn)化，得到所述車輛故障文本檢測結(jié)果，所述車輛故障文本檢測結(jié)果包括車輛類型、車牌號和故障燈種類中的至少一種檢測結(jié)果。

12、在本發(fā)明實施例中，所述根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中確定出車輛故障視覺檢測結(jié)果，包括：

13、根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中，基于tensorrt加速技術(shù)確定出車輛故障關(guān)鍵視頻片段；

14、從所述車輛故障關(guān)鍵視頻片段中確定出車牌識別結(jié)果和故障燈識別結(jié)果；

15、將所述車牌識別結(jié)果和所述故障燈識別結(jié)果作為所述車輛故障視覺檢測結(jié)果。

16、在本發(fā)明實施例中，從所述車輛故障關(guān)鍵視頻片段中確定出車牌識別結(jié)果，包括：

17、將所述車輛故障關(guān)鍵視頻片段輸入預(yù)先訓(xùn)練的ocr模型，得到初始車牌識別結(jié)果；

18、若所述初始車牌識別結(jié)果表征的車牌字符低于六個字符，且不滿足預(yù)設(shè)規(guī)則需求，則過濾所述初始車牌識別結(jié)果；

19、若所述初始車牌識別結(jié)果表征的車牌字符為六個字符，且滿足預(yù)設(shè)規(guī)則需求，則將所述初始車牌識別結(jié)果作為所述車牌識別結(jié)果。

20、在本發(fā)明實施例中，從所述車輛故障關(guān)鍵視頻片段中確定出故障燈識別結(jié)果，包括：

21、將所述車輛故障關(guān)鍵視頻片段輸入預(yù)先訓(xùn)練的目標(biāo)檢測模型，得到所述故障燈識別結(jié)果，所述目標(biāo)檢測模型基于預(yù)定義的故障燈類型作為目標(biāo)值訓(xùn)練得到。

22、在本發(fā)明實施例中，所述將所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果進行融合，得到車輛故障多模態(tài)檢測結(jié)果，包括：

23、基于晚期融合策略，獲取所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果分別對應(yīng)的置信度得分

24、基于所述置信度得分進行篩除，得到篩除后的車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果；

25、根據(jù)篩除后的車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果對應(yīng)的置信度得分以及所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別配置的權(quán)重，計算得到車輛故障多模態(tài)得分；

26、當(dāng)所述車輛故障多模態(tài)得分超過預(yù)設(shè)車輛故障多模態(tài)得分閾值時，得到所述車輛故障多模態(tài)檢測結(jié)果；

27、當(dāng)所述車輛故障多模態(tài)得分不超過預(yù)設(shè)車輛故障多模態(tài)得分閾值時，發(fā)出檢測失敗提示。

28、在本發(fā)明實施例中，所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別配置的權(quán)重，通過以下方式獲取，包括：

29、獲取所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別對應(yīng)的現(xiàn)場數(shù)據(jù)穩(wěn)定性和預(yù)設(shè)重要程度，得到所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別配置的權(quán)重。

30、第二方面，本發(fā)明實施例提供一種基于視頻解析的車輛故障快速記錄裝置，包括：

31、獲取模塊，用于獲取當(dāng)前車輛故障錄制視頻，所述當(dāng)前車輛故障錄制視頻包括用戶口述故障音頻數(shù)據(jù)和錄制視頻數(shù)據(jù)；

32、文本模塊，用于從所述用戶口述故障音頻數(shù)據(jù)確定關(guān)鍵文本信息，并從所述關(guān)鍵文本信息中確定出車輛故障文本檢測結(jié)果；

33、視覺模塊，用于根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中確定出車輛故障視覺檢測結(jié)果；

34、融合模塊，用于將所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果進行融合，得到車輛故障多模態(tài)檢測結(jié)果；

35、記錄模塊，用于根據(jù)所述車輛故障多模態(tài)檢測結(jié)果，確定出所述當(dāng)前車輛故障錄制視頻對應(yīng)的車輛故障記錄結(jié)果。

36、第三方面，本發(fā)明實施例提供一種計算機設(shè)備，所述計算機設(shè)備包括處理器及存儲有計算機指令的非易失性存儲器，所述計算機指令被所述處理器執(zhí)行時，所述計算機設(shè)備執(zhí)行第一方面至少一種可能的實施方式中所述的方法。

37、第四方面，本發(fā)明實施例提供一種可讀存儲介質(zhì)，所述可讀存儲介質(zhì)包括計算機程序，所述計算機程序運行時控制所述可讀存儲介質(zhì)所在計算機設(shè)備執(zhí)行第一方面至少一種可能的實施方式中所述的方法。

38、相比現(xiàn)有技術(shù)，本發(fā)明提供的有益效果包括：采用本發(fā)明公開的一種基于視頻解析的車輛故障快速記錄方法、裝置、計算機設(shè)備及可讀存儲介質(zhì)，通過獲取包含用戶口述故障音頻和錄制視頻數(shù)據(jù)的車輛故障錄制視頻。接著，從音頻數(shù)據(jù)中提取關(guān)鍵文本信息，進而確定車輛故障文本檢測結(jié)果。同時，根據(jù)這些關(guān)鍵文本信息的時間幀，從視頻數(shù)據(jù)中定位并確定車輛故障視覺檢測結(jié)果。然后，將文本和視覺檢測結(jié)果進行融合，得到車輛故障多模態(tài)檢測結(jié)果。最后，根據(jù)這一多模態(tài)檢測結(jié)果，準(zhǔn)確快速地確定出當(dāng)前車輛故障錄制視頻對應(yīng)的車輛故障記錄結(jié)果。如此設(shè)計，實現(xiàn)了車輛故障的高效、準(zhǔn)確記錄，為后續(xù)的車輛維修和保養(yǎng)提供了有力支持。

技術(shù)特征：

1.一種基于視頻解析的車輛故障快速記錄方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述用戶口述故障音頻數(shù)據(jù)確定關(guān)鍵文本信息，并從所述關(guān)鍵文本信息中確定出車輛故障文本檢測結(jié)果，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中確定出車輛故障視覺檢測結(jié)果，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，從所述車輛故障關(guān)鍵視頻片段中確定出車牌識別結(jié)果，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述車輛故障關(guān)鍵視頻片段中確定出故障燈識別結(jié)果，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果進行融合，得到車輛故障多模態(tài)檢測結(jié)果，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別配置的權(quán)重，通過以下方式獲取，包括：

8.一種基于視頻解析的車輛故障快速記錄裝置，其特征在于，包括：

9.一種計算機設(shè)備，其特征在于，所述計算機設(shè)備包括處理器及存儲有計算機指令的非易失性存儲器，所述計算機指令被所述處理器執(zhí)行時，所述計算機設(shè)備執(zhí)行權(quán)利要求1-7中任意一項所述的方法。

10.一種可讀存儲介質(zhì)，其特征在于，所述可讀存儲介質(zhì)包括計算機程序，所述計算機程序運行時控制所述可讀存儲介質(zhì)所在計算機設(shè)備執(zhí)行權(quán)利要求1-7中任意一項所述的方法。

技術(shù)總結(jié)
本發(fā)明公開了一種基于視頻解析的車輛故障快速記錄方法、裝置、計算機設(shè)備及可讀存儲介質(zhì)，包括：首先獲取包含用戶口述故障音頻和錄制視頻數(shù)據(jù)的車輛故障錄制視頻。接著，從音頻數(shù)據(jù)中提取關(guān)鍵文本信息，進而確定車輛故障文本檢測結(jié)果。同時，根據(jù)這些關(guān)鍵文本信息的時間幀，從視頻數(shù)據(jù)中定位并確定車輛故障視覺檢測結(jié)果。然后，將文本和視覺檢測結(jié)果進行融合，得到車輛故障多模態(tài)檢測結(jié)果。最后，根據(jù)這一多模態(tài)檢測結(jié)果，準(zhǔn)確快速地確定出當(dāng)前車輛故障錄制視頻對應(yīng)的車輛故障記錄結(jié)果。如此設(shè)計，實現(xiàn)了車輛故障的高效、準(zhǔn)確記錄，為后續(xù)的車輛維修和保養(yǎng)提供了有力支持。

技術(shù)研發(fā)人員：陳慶宇,肖傳發(fā),羅歆昱,陳崇雨
受保護的技術(shù)使用者：暗物智能科技（廣州）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21