午夜毛片免费看,老师老少妇黄色网站,久久本道综合久久伊人,伊人黄片子

幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置制造方法

文檔序號(hào):7781485閱讀:168來(lái)源:國(guó)知局
幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置制造方法
【專(zhuān)利摘要】本發(fā)明涉及一種幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置,其中,幀視頻轉(zhuǎn)換方法包括:提取2D幀視頻的最長(zhǎng)線段;根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀視頻的第一深度圖;根據(jù)與所述2D幀視頻相鄰的一幀視頻,確定所述2D幀視頻的運(yùn)動(dòng)信息;根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖;根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。本發(fā)明實(shí)施例提供的幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置,與僅用一個(gè)深度線索合成的深度圖相比具有更高的可靠性,且能保持良好的深度邊緣信息,從而使生成深度圖更加真實(shí),轉(zhuǎn)換而成的3D幀視頻逼真自然,有利于提高用戶體驗(yàn)。
【專(zhuān)利說(shuō)明】幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域,尤其涉及一種幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置。
【背景技術(shù)】
[0002]3D技術(shù)能將真實(shí)世界中的事物以更加逼真的效果展現(xiàn)給人們。然而,相比于3D顯示的硬件設(shè)備來(lái)說(shuō),3D內(nèi)容的數(shù)量明顯不足。盡管可以使用3D設(shè)備拍攝3D內(nèi)容,但若能將已有豐富的2D資源轉(zhuǎn)換為3D資源,無(wú)疑能有效地解決3D資源匱乏的問(wèn)題。
[0003]目前,基于深度圖的3D合成技術(shù)是一種比較主流的2D轉(zhuǎn)3D技術(shù)。該技術(shù)主要利用2D轉(zhuǎn)3D時(shí)人的視覺(jué)經(jīng)驗(yàn)和視覺(jué)記憶構(gòu)成的人眼的心理立體視覺(jué)。2D圖像存在的深度線索,如運(yùn)動(dòng)視差、聚焦/散焦、線性透視、大氣散射、陰影、遮擋、相對(duì)高度以及相對(duì)大小等,通過(guò)對(duì)這些深度線索進(jìn)行分析,可以將2D圖像中的深度信息估計(jì)出來(lái),從而根據(jù)估計(jì)出來(lái)的深度信息生成對(duì)應(yīng)的深度圖。根據(jù)原始視圖及其對(duì)應(yīng)的深度圖,利用基于深度圖像繪制(Depth image based rendering,DIBR)技術(shù),可以合成虛擬的左右視圖,將左右視圖合成,通過(guò)3D顯示設(shè)備即可得到具有3D效果的立體圖。
[0004]隨著DIBR技術(shù)的成熟,基于深度圖的3D合成技術(shù)被廣泛研究,如何準(zhǔn)確估計(jì)出2D圖像的深度信息成為了該技術(shù)的關(guān)鍵。

【發(fā)明內(nèi)容】

[0005]摶術(shù)問(wèn)是頁(yè)
[0006]有鑒于此,本發(fā)明要解決的技術(shù)問(wèn)題是,如何準(zhǔn)確估計(jì)出2D圖像的深度信息,從而提高基于該深度信息的3D合成技術(shù)得到的深度圖像的真實(shí)性。
[0007]解決方案
[0008]為了解決上述技術(shù)問(wèn)題,根據(jù)本發(fā)明一實(shí)施例,在第一方面,提供了一種幀圖像轉(zhuǎn)換方法,包括:
[0009]提取2D幀圖像的最長(zhǎng)線段;
[0010]根據(jù)所述最長(zhǎng)線段的方向,確定所述2D幀圖像的第一深度圖;
[0011]根據(jù)所述第一深度圖及所述2D幀圖像,生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
[0012]結(jié)合第一方面,在一種可能的實(shí)現(xiàn)方式中,所述提取2D幀圖像的最長(zhǎng)線段,包括:
[0013]利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理;
[0014]利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像,以提取所述2D幀圖像的最長(zhǎng)線段。
[0015]結(jié)合第一方面,在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀圖像的第一深度圖,包括:
[0016]根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向;[0017]將雙邊濾波后的所述2D幀圖像進(jìn)行分塊,并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi);
[0018]基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖。
[0019]結(jié)合第一方面,在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向,包括:
[0020]以雙邊濾波后的所述2D幀圖像中的任一點(diǎn)為原點(diǎn),以雙邊濾波后的所述2D幀圖像的水平向右方向?yàn)閄軸正方向,豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系;
[0021]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°,157.5° )或(292.5° ,337.5° )的第一范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像左下向右上變換;
[0022]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像右下向左上變換;
[0023]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像底部向上部變換。
[0024]結(jié)合第一方面,在一種可能的實(shí)現(xiàn)方式中,在所述基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖后,還包括:
[0025]利用交叉雙邊濾波處理所得到的所述第一深度圖。
[0026]為了解決上述技術(shù)問(wèn)題,根據(jù)本發(fā)明另一實(shí)施例,在第二方面,提供了一種幀視頻轉(zhuǎn)換方法,包括:
[0027]提取2D幀視頻的最長(zhǎng)線段;
[0028]根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀視頻的第一深度圖;
[0029]根據(jù)與所述2D幀視頻相鄰的一幀視頻,確定所述2D幀視頻的運(yùn)動(dòng)信息;
[0030]根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖;
[0031]根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
[0032]結(jié)合第二方面,在一種可能的實(shí)現(xiàn)方式中,所述提取2D幀視頻的最長(zhǎng)線段,包括:
[0033]利用雙邊濾波對(duì)所述2D幀視頻進(jìn)行平滑去噪處理;
[0034]利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀視頻,以提取所述2D幀視頻的最長(zhǎng)線段。
[0035]結(jié)合第二方面,在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀視頻的第一深度圖,包括:
[0036]根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向;
[0037]將雙邊濾波后的所述2D幀視頻進(jìn)行分塊,并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi);
[0038]基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖。
[0039]結(jié)合第二方面,在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向,包括:[0040]以雙邊濾波后的所述2D幀視頻中的任一點(diǎn)為原點(diǎn),以雙邊濾波后的所述幀視頻的水平向右方向?yàn)閄軸正方向,豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系,
[0041]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°,157.5° )或(292.5° ,337.5° )的第一范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻左下向右上變換;
[0042]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻右下向左上變換;
[0043]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻底部向上部變換。
[0044]結(jié)合第二方面,在一種可能的實(shí)現(xiàn)方式中,在所述基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖后,還包括:
[0045]利用交叉雙邊濾波處理所得到的所述第一深度圖。
[0046]結(jié)合第二方面,在一種可能的實(shí)現(xiàn)方式中,根據(jù)與所述2D幀視頻相鄰的一幀視頻,確定所述2D幀視頻的運(yùn)動(dòng)信息,包括:
[0047]根據(jù)與所述2D幀視頻相鄰的一幀視頻,估計(jì)得到所述2D幀視頻的每個(gè)像素的運(yùn)
動(dòng)矢量;
[0048]根據(jù)所述每個(gè)像素的運(yùn)動(dòng)矢量得到所述每個(gè)像素的運(yùn)動(dòng)信息。
[0049]結(jié)合第二方面,在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖,包括:
[0050]根據(jù)所述每個(gè)像素的運(yùn)動(dòng)信息,得到所述每個(gè)像素的深度信息;
[0051]根據(jù)所述每個(gè)像素的深度信息得到所述2D幀視頻的第二深度圖。
[0052]結(jié)合第二方面,在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻,包括:
[0053]將所述第一深度圖與所述第二深度圖融合生成所述2D幀視頻的第三深度圖;
[0054]根據(jù)所述第三深度圖及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
[0055]為了解決上述技術(shù)問(wèn)題,根據(jù)本發(fā)明又一實(shí)施例,在第三方面,提供了一種幀圖像轉(zhuǎn)換裝置,包括:
[0056]第一提取模塊,用于提取2D幀圖像的最長(zhǎng)線段;
[0057]第一確定模塊,與所述第一提取模塊連接,用于根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀圖像的第一深度圖;
[0058]第一生成模塊,與所述第一確定模塊連接,用于根據(jù)所述第一深度圖及所述2D幀圖像生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
[0059]結(jié)合第三方面,在一種可能的實(shí)現(xiàn)方式中,所述第一提取模塊包括:
[0060]第一雙邊濾波處理單元,用于利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理;
[0061]第一提取單元,與所述第一雙邊濾波處理單元連接,用于利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像,以提取所述2D幀圖像的最長(zhǎng)線段。
[0062]結(jié)合第三方面,在一種可能的實(shí)現(xiàn)方式中,所述第一確定模塊包括:
[0063]第一深度變換方向確定單元,用于根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向;
[0064]第一分塊單元,用于將雙邊濾波后的所述2D幀圖像進(jìn)行分塊,并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi);
[0065]第一確定單元,與所述第一深度變換方向確定單元和第一分塊單元連接,用于基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖。
[0066]結(jié)合第三方面,在一種可能的實(shí)現(xiàn)方式中,所述第一深度變換方向確定單元用于:
[0067]以雙邊濾波后的所述2D幀圖像中的任一點(diǎn)為原點(diǎn),以雙邊濾波后的所述幀圖像的水平向右方向?yàn)閄軸正方向,豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系,
[0068]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°,157.5° )或(292.5° ,337.5° )的第一范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像左下向右上變換;
[0069]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像右下向左上變換;
[0070]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像底部向上部變換。
[0071]結(jié)合第三方面,在一種可能的實(shí)現(xiàn)方式中,還包括:
[0072]第一交叉雙邊濾波處理模塊,用于利用交叉雙邊濾波處理所得到的所述第一深度圖。
[0073]為了解決上述技術(shù)問(wèn)題,根據(jù)本發(fā)明又一實(shí)施例,在第四方面,提供了一種幀視頻轉(zhuǎn)換裝置,包括:
[0074]第二提取模塊,用于提取2D幀視頻的最長(zhǎng)線段;
[0075]第二確定模塊,與所述第二提取模塊連接,用于根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀視頻的第一深度圖;
[0076]第三確定模塊,用于根據(jù)與所述2D幀視頻相鄰的一幀視頻,確定所述2D幀視頻的運(yùn)動(dòng)信息;以及用于根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖;
[0077]第二生成模塊,與所述第二確定模塊與第三確定模塊連接,用于根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
[0078]結(jié)合第四方面,在一種可能的實(shí)現(xiàn)方式中,所述第二提取模塊包括:
[0079]第二雙邊濾波處理單元,用于利用雙邊濾波對(duì)所述2D幀視頻進(jìn)行平滑去噪處理;
[0080]第二提取單元,與所述第二雙邊濾波處理單元連接,用于利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀視頻,以提取所述2D幀視頻的最長(zhǎng)線段。
[0081]結(jié)合第四方面,在一種可能的實(shí)現(xiàn)方式中,所述第二確定模塊包括:
[0082]第二深度變換方向確定單元,用于根據(jù)所述最長(zhǎng)線段的方向確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向;
[0083]第二分塊單元,用于將雙邊濾波后的所述2D幀視頻進(jìn)行分塊,并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi);
[0084]第二確定單元,與所述第二深度變換方向確定單元和第二分塊單元連接,基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖。
[0085]結(jié)合第四方面,在一種可能的實(shí)現(xiàn)方式中,所述第二深度變換方向確定單元用于:
[0086]以雙邊濾波后的所述2D幀視頻中的任一點(diǎn)為原點(diǎn),以雙邊濾波后的所述幀視頻的水平向右方向?yàn)閄軸正方向,豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系,
[0087]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°,157.5° )或(292.5° ,337.5° )的第一范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻左下向右上變換;
[0088]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻右下向左上變換;
[0089]如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻底部向上部變換。
[0090]結(jié)合第四方面,在一種可能的實(shí)現(xiàn)方式中,所述幀視頻轉(zhuǎn)換裝置還包括:
[0091]第二交叉雙邊濾波處理模塊,用于利用交叉雙邊濾波處理所得到的所述第一深度圖。
[0092]結(jié)合第四方面,在一種可能的實(shí)現(xiàn)方式中,所述第三確定模塊用于:
[0093]根據(jù)與所述2D幀視頻相鄰的一幀視頻,確定所述2D幀視頻的每個(gè)像素的運(yùn)動(dòng)矢量;
[0094]根據(jù)所述每個(gè)像素的運(yùn)動(dòng)矢量得到所述每個(gè)像素的運(yùn)動(dòng)信息。
[0095]結(jié)合第四方面,在一種可能的實(shí)現(xiàn)方式中,所述第三確定模塊還用于:
[0096]根據(jù)所述每個(gè)像素的運(yùn)動(dòng)信息,得到所述每個(gè)像素的深度信息;
[0097]根據(jù)所述每個(gè)像素的深度信息確定所述2D幀視頻的第二深度圖。
[0098]結(jié)合第四方面,在一種可能的實(shí)現(xiàn)方式中,所述第二生成模塊用于:
[0099]將所述第一深度圖與所述第二深度圖融合生成所述2D幀視頻的第三深度圖;
[0100]根據(jù)所述第三深度圖及所述2D幀視頻生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
[0101]有益.效果
[0102]本發(fā)明實(shí)施例的幀圖像轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置,能夠根據(jù)所提取的最長(zhǎng)線段的方向,準(zhǔn)確估計(jì)該2D幀圖像的基于相對(duì)高度線索的深度信息,從而使根據(jù)該深度信息生成的深度圖更加真實(shí),轉(zhuǎn)換而成的3D圖像逼真自然。本發(fā)明實(shí)施例的幀視頻轉(zhuǎn)換方法、幀視頻轉(zhuǎn)換方法及裝置,能夠根據(jù)所述最長(zhǎng)線段的方向,準(zhǔn)確的估計(jì)出該2D幀視頻的基于相對(duì)高度線索的深度信息以及該2D幀視頻的運(yùn)動(dòng)信息,估計(jì)出該2D幀視頻的基于運(yùn)動(dòng)線索的深度信息,結(jié)合基于相對(duì)高度線索的深度信息和基于運(yùn)動(dòng)線索的深度信息來(lái)合成深度圖。這樣,與僅用一個(gè)深度線索合成的深度圖相比具有更高的可靠性,且能保持良好的深度邊緣信息,從而使生成深度圖更加真實(shí),轉(zhuǎn)換而成的3D幀視頻逼真自然,有利于提高用戶體驗(yàn)。
[0103]根據(jù)下面參考附圖對(duì)示例性實(shí)施例的詳細(xì)說(shuō)明,本發(fā)明的其它特征及方面將變得清楚?!緦?zhuān)利附圖】

【附圖說(shuō)明】
[0104]包含在說(shuō)明書(shū)中并且構(gòu)成說(shuō)明書(shū)的一部分的附圖與說(shuō)明書(shū)一起示出了本發(fā)明的示例性實(shí)施例、特征和方面,并且用于解釋本發(fā)明的原理。
[0105]圖1示出根據(jù)本發(fā)明一實(shí)施例的幀圖像轉(zhuǎn)換方法的流程圖;
[0106]圖2示出根據(jù)本發(fā)明另一實(shí)施例的幀圖像轉(zhuǎn)換方法的流程圖;
[0107]圖3示出根據(jù)本發(fā)明一實(shí)施例的幀視頻轉(zhuǎn)換方法的流程圖;
[0108]圖4示出根據(jù)本發(fā)明另一實(shí)施例的幀視頻轉(zhuǎn)換方法的流程圖;
[0109]圖5示出根據(jù)本發(fā)明一實(shí)施例的幀圖像轉(zhuǎn)換裝置的結(jié)構(gòu)框圖;
[0110]圖6示出根據(jù)本發(fā)明另一實(shí)施例的幀圖像轉(zhuǎn)換裝置的結(jié)構(gòu)框圖;
[0111]圖7示出根據(jù)本發(fā)明一實(shí)施例的幀視頻轉(zhuǎn)換裝置的結(jié)構(gòu)框圖;
[0112]圖8示出根據(jù)本發(fā)明另一實(shí)施例的幀視頻轉(zhuǎn)換裝置的結(jié)構(gòu)框圖;
[0113]圖9示出根據(jù)本發(fā)明又一實(shí)施例的幀圖像轉(zhuǎn)換裝置的結(jié)構(gòu)框圖;
[0114]圖10示出根據(jù)本發(fā)明又一實(shí)施例的幀視頻轉(zhuǎn)換裝置的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0115]以下將參考附圖詳細(xì)說(shuō)明本發(fā)明的各種示例性實(shí)施例、特征和方面。附圖中相同的附圖標(biāo)記表示功能相同或相似的元件。盡管在附圖中示出了實(shí)施例的各種方面,但是除非特別指出,不必按比例繪制附圖。
[0116]在這里專(zhuān)用的詞“示例性”意為“用作例子、實(shí)施例或說(shuō)明性”。這里作為“示例性”所說(shuō)明的任何實(shí)施例不必解釋為優(yōu)于或好于其它實(shí)施例。
[0117]另外,為了更好的說(shuō)明本發(fā)明,在下文的【具體實(shí)施方式】中給出了眾多的具體細(xì)節(jié)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,沒(méi)有某些具體細(xì)節(jié),本發(fā)明同樣可以實(shí)施。在一些實(shí)例中,對(duì)于本領(lǐng)域技術(shù)人員熟知的方法、手段、元件和電路未作詳細(xì)描述,以便于凸顯本發(fā)明的主旨。
[0118]如【背景技術(shù)】和
【發(fā)明內(nèi)容】
所述,本申請(qǐng)的方法是基于深度圖的3D合成技術(shù)。該技術(shù)主要是根據(jù)對(duì)2D圖像或視頻存在的深度線索,如運(yùn)動(dòng)視差、聚焦/散焦、線性透視、大氣散射、陰影、遮擋、相對(duì)高度以及相對(duì)大小等進(jìn)行分析,將2D圖像或視頻中的深度信息估計(jì)出來(lái),從而根據(jù)估計(jì)出來(lái)的深度信息生成對(duì)應(yīng)的深度圖。生成該2D圖像或視頻對(duì)應(yīng)的深度圖一個(gè)非常關(guān)鍵的地方在于估計(jì)出來(lái)的深度信息是否準(zhǔn)確。因此,本申請(qǐng)?zhí)岢隽艘环N基于相對(duì)高度信息的幀圖像轉(zhuǎn)換方法,根據(jù)該幀圖像轉(zhuǎn)換方法,可以將2D幀圖像轉(zhuǎn)換成3D幀圖像,從而生成對(duì)應(yīng)的3D圖像。以及在此基礎(chǔ)上提出了一種基于相對(duì)高度信息和運(yùn)動(dòng)信息的幀視頻轉(zhuǎn)換方法,根據(jù)該幀視頻轉(zhuǎn)換方法,將2D幀視頻轉(zhuǎn)換成3D幀視頻,從而生成對(duì)應(yīng)的3D視頻。這兩種方法的具體描述可以詳見(jiàn)下面實(shí)施例的闡述。
[0119]實(shí)施例1
[0120]圖1示出根據(jù)本發(fā)明一實(shí)施例的幀圖像轉(zhuǎn)換方法的流程圖。如圖1所示,該方法主要可以包括:
[0121]步驟S100、提取2D幀圖像的最長(zhǎng)線段;
[0122]步驟S110、根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀圖像的第一深度圖;
[0123]步驟S120、根據(jù)所述第一深度圖及所述2D幀圖像生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。[0124]根據(jù)本發(fā)明實(shí)施例的幀圖像轉(zhuǎn)換方法,首先,提取所述2D幀圖像的最長(zhǎng)線段;然后,根據(jù)所述最長(zhǎng)線段的方向,確定所述2D幀圖像的第一深度圖;最后,根據(jù)所述第一深度圖及所述2D幀圖像,生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
[0125]本發(fā)明實(shí)施例提供的幀圖像轉(zhuǎn)換方法,是一種基于相對(duì)高度線索來(lái)估計(jì)該2D幀圖像的深度信息的方法,該方法能夠根據(jù)所提取的最長(zhǎng)線段的方向,準(zhǔn)確估計(jì)該2D幀圖像的基于相對(duì)高度線索的深度信息,從而使根據(jù)該深度信息生成的深度圖更加真實(shí),轉(zhuǎn)換而成的3D圖像逼真自然。
[0126]實(shí)施例2
[0127]圖2示出根據(jù)本發(fā)明另一實(shí)施例的幀圖像轉(zhuǎn)換方法的流程圖。圖2中標(biāo)號(hào)與圖1相同的步驟具有相同的功能,為簡(jiǎn)明起見(jiàn),省略對(duì)這些步驟的詳細(xì)說(shuō)明。
[0128]如圖2所示,圖2所示的幀圖像轉(zhuǎn)換方法與圖1所示幀圖像轉(zhuǎn)換方法的主要區(qū)別在于,上述步驟SlOO具體可以包括以下步驟:
[0129]步驟S1001、利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理;
[0130]步驟S1002、利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像,以提取所述2D幀圖像的最長(zhǎng)線段。
[0131]對(duì)于上述步驟S1001,對(duì)幀圖像It,先對(duì)該幀圖像It進(jìn)行平滑去噪處理,以減少噪聲和雜亂邊緣,保留該幀圖像It中的最長(zhǎng)線段。在一種可能的實(shí)現(xiàn)方式中,其公式如(I)所示:
【權(quán)利要求】
1.一種幀圖像轉(zhuǎn)換方法,其特征在于,包括: 提取2D幀圖像的最長(zhǎng)線段; 根據(jù)所述最長(zhǎng)線段的方向,確定所述2D幀圖像的第一深度圖; 根據(jù)所述第一深度圖及所述2D幀圖像,生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
2.根據(jù)權(quán)利要求1所述的幀圖像轉(zhuǎn)換方法,其特征在于,所述提取2D幀圖像的最長(zhǎng)線段,包括: 利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理; 利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像,以提取所述2D幀圖像的最長(zhǎng)線段。
3.根據(jù)權(quán)利要求1或2所述的幀圖像轉(zhuǎn)換方法,其特征在于,所述根據(jù)所述最長(zhǎng)線段的方向,確定所述2D幀圖像的第一深度圖,包括: 根據(jù)所述最長(zhǎng)線段的方向,確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向; 將雙邊濾波后的所述2D幀圖像進(jìn)行分塊,并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi); 基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖。`
4.根據(jù)權(quán)利要求3所述的幀圖像轉(zhuǎn)換方法,其特征在于,所述根據(jù)所述最長(zhǎng)線段的方向,確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向,包括: 以雙邊濾波后的所述2D幀圖像中的任一點(diǎn)為原點(diǎn),以雙邊濾波后的所述2D幀圖像的水平向右方向?yàn)閄軸正方向,豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°,157.5° )或(292.5° ,337.5° )的第一范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像左下向右上變換; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5°,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像右下向左上變換; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像底部向上部變換。
5.根據(jù)權(quán)利要求3或4所述的幀圖像轉(zhuǎn)換方法,其特征在于,在所述基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖后,還包括: 利用交叉雙邊濾波處理所得到的所述第一深度圖。
6.一種幀視頻轉(zhuǎn)換方法,其特征在于,包括: 提取2D幀視頻的最長(zhǎng)線段; 根據(jù)所述最長(zhǎng)線段的方向,確定所述2D幀視頻的第一深度圖; 根據(jù)與所述2D幀視頻相鄰的一幀視頻,確定所述2D幀視頻的運(yùn)動(dòng)信息; 根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖; 根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻,生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
7.根據(jù)權(quán)利要求6所述的幀視頻轉(zhuǎn)換方法,其特征在于,所述提取2D幀視頻的最長(zhǎng)線段,包括: 利用雙邊濾波對(duì)所述2D幀視頻進(jìn)行平滑去噪處理; 利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀視頻,以提取所述2D幀視頻的最長(zhǎng)線段。
8.根據(jù)權(quán)利要求6或7所述的幀視頻轉(zhuǎn)換方法,其特征在于,所述根據(jù)所述最長(zhǎng)線段的方向,確定所述2D幀視頻的第一深度圖,包括: 根據(jù)所述最長(zhǎng)線段的方向,確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向; 將雙邊濾波后的所述2D幀視頻進(jìn)行分塊,并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi); 基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖。
9.根據(jù)權(quán)利要求8所述的幀視頻轉(zhuǎn)換方法,其特征在于,所述根據(jù)所述最長(zhǎng)線段的方向,確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向,包括: 以雙邊濾波后的所述2D幀視頻中的任一點(diǎn)為原點(diǎn),以雙邊濾波后的所述幀視頻的水平向右方向?yàn)閄軸正方向,豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°,157.5° )或(292.5° ,337.5° )的第一`范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻左下向右上變換; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5° ,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻右下向左上變換; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻底部向上部變換。
10.根據(jù)權(quán)利要求8或9所述的幀視頻轉(zhuǎn)換方法,其特征在于,在所述基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖后,還包括: 利用交叉雙邊濾波處理所得到的所述第一深度圖。
11.根據(jù)權(quán)利要求6-10中任一項(xiàng)所述的幀視頻轉(zhuǎn)換方法,其特征在于,根據(jù)與所述2D幀視頻相鄰的一幀視頻,確定所述2D幀視頻的運(yùn)動(dòng)信息,包括: 根據(jù)與所述2D幀視頻相鄰的一幀視頻,估計(jì)得到所述2D幀視頻的每個(gè)像素的運(yùn)動(dòng)矢量; 根據(jù)所述每個(gè)像素的運(yùn)動(dòng)矢量,得到所述每個(gè)像素的運(yùn)動(dòng)信息。
12.根據(jù)權(quán)利要求11所述的幀視頻轉(zhuǎn)換方法,其特征在于,所述根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖,包括: 根據(jù)所述每個(gè)像素的運(yùn)動(dòng)信息,得到所述每個(gè)像素的深度信息; 根據(jù)所述每個(gè)像素的深度信息,得到所述2D幀視頻的第二深度圖。
13.根據(jù)權(quán)利要求6-12中任一項(xiàng)所述的幀視頻轉(zhuǎn)換方法,其特征在于,所述根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻,生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻,包括: 將所述第一深度圖與所述第二深度圖融合,以生成所述2D幀視頻的第三深度圖;根據(jù)所述第三深度圖及所述2D幀視頻,生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
14.一種幀圖像轉(zhuǎn)換裝置,其特征在于,包括: 第一提取模塊,用于提取2D幀圖像的最長(zhǎng)線段; 第一確定模塊,與所述第一提取模塊連接,用于根據(jù)所述最長(zhǎng)線段的方向確定所述2D幀圖像的第一深度圖; 第一生成模塊,與所述第一確定模塊連接,用于根據(jù)所述第一深度圖及所述2D幀圖像,生成所述2D幀圖像對(duì)應(yīng)的3D幀圖像。
15.根據(jù)權(quán)利要求14所述的幀圖像轉(zhuǎn)換裝置,其特征在于,所述第一提取模塊包括: 第一雙邊濾波處理單元,用于利用雙邊濾波對(duì)所述2D幀圖像進(jìn)行平滑去噪處理; 第一提取單元,與所述第一雙邊濾波處理單元連接,用于利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀圖像,以提取所述2D幀圖像的最長(zhǎng)線段。
16.根據(jù)權(quán)利要求14或15所述的幀圖像轉(zhuǎn)換裝置,其特征在于,所述第一確定模塊包括: 第一深度變換方向確定單元,用于根據(jù)所述最長(zhǎng)線段的方向,確定與所述2D幀圖像對(duì)應(yīng)的初始深度模板的深度變換方向; 第一分塊單元,用于將雙邊濾波后的所述2D幀圖像進(jìn)行分塊,并對(duì)結(jié)果分塊進(jìn)行分組聚類(lèi);` 第一確定單元,與所述第一深度變換方向確定單元和第一分塊單元連接,用于基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖。
17.根據(jù)權(quán)利要求16所述的幀圖像轉(zhuǎn)換裝置,其特征在于,所述第一深度變換方向確定單元用于: 以雙邊濾波后的所述2D幀圖像中的任一點(diǎn)為原點(diǎn),以雙邊濾波后的所述幀圖像的水平向右方向?yàn)閄軸正方向,豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°,157.5° )或(292.5° ,337.5° )的第一范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像左下向右上變換; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5° ,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像右下向左上變換; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀圖像底部向上部變換。
18.根據(jù)權(quán)利要求16或17所述的幀圖像轉(zhuǎn)換裝置,其特征在于,還包括: 第一交叉雙邊濾波處理模塊,用于利用交叉雙邊濾波處理所得到的所述第一深度圖。
19.一種幀視頻轉(zhuǎn)換裝置,其特征在于,包括: 第二提取模塊,用于提取2D幀視頻的最長(zhǎng)線段; 第二確定模塊,與所述第二提取模塊連接,用于根據(jù)所述最長(zhǎng)線段的方向,確定所述2D幀視頻的第一深度圖; 第三確定模塊,用于根據(jù)與所述2D幀視頻相鄰的一幀視頻,確定所述2D幀視頻的運(yùn)動(dòng)信息;以及用于根據(jù)所述運(yùn)動(dòng)信息確定所述2D幀視頻的第二深度圖;第二生成模塊,與所述第二確定模塊和第三確定模塊連接,用于根據(jù)所述第一深度圖、所述第二深度圖以及所述2D幀視頻,生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
20.根據(jù)權(quán)利要求19所述的幀視頻轉(zhuǎn)換裝置,其特征在于,所述第二提取模塊包括: 第二雙邊濾波處理單元,用于利用雙邊濾波對(duì)所述2D幀視頻進(jìn)行平滑去噪處理; 第二提取單元,與所述第二雙邊濾波處理單元連接,用于利用霍夫變換技術(shù)檢測(cè)雙邊濾波后的所述2D幀視頻,以提取所述2D幀視頻的最長(zhǎng)線段。
21.根據(jù)權(quán)利要求19或20所述的幀視頻轉(zhuǎn)換裝置,其特征在于,所述第二確定模塊包括: 第二深度變換方向確定單元,用于根據(jù)所述最長(zhǎng)線段的方向,確定與所述2D幀視頻對(duì)應(yīng)的初始深度模板的深度變換方向; 第二分塊單元,用于將雙邊濾波后的所述2D幀視頻進(jìn)行分塊,并對(duì)分塊結(jié)果進(jìn)行分組聚類(lèi); 第二確定單元,與所述第二深度變換方向確定單元和第二分塊單元連接,基于所述初始深度模板,根據(jù)所述深度變換方向和分組聚類(lèi)結(jié)果,得到所述第一深度圖。
22.根據(jù)權(quán)利要求21所述的幀視頻轉(zhuǎn)換裝置,其特征在于,所述第二深度變換方向確定單元用于: 以雙邊濾波后的所述2D幀視頻中的任一點(diǎn)為原點(diǎn),以雙邊濾波后的所述幀視頻的水平向右方向?yàn)閄軸正方向,豎直向下方向?yàn)閥軸正方向建立平面直角坐標(biāo)系;` 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(112.5°,157.5° )或(292.5° ,337.5° )的第一范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻左下向右上變換; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角在(22.5° ,67.5° )或(202.5° ,247.5° )的第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻右下向左上變換; 如果所述最長(zhǎng)線段按順時(shí)針?lè)较蚺cX軸正方向的夾角不在所述第一范圍和第二范圍內(nèi),則所述深度變換方向?yàn)樘荻确较驈碾p邊濾波后的所述2D幀視頻底部向上部變換。
23.根據(jù)權(quán)利要求21或22所述的幀視頻轉(zhuǎn)換裝置,其特征在于,所述幀視頻轉(zhuǎn)換裝置還包括: 第二交叉雙邊濾波處理模塊,用于利用交叉雙邊濾波處理所得到的所述第一深度圖。
24.根據(jù)權(quán)利要求19-23中任一項(xiàng)所述的幀視頻轉(zhuǎn)換裝置,其特征在于,所述第三確定模塊用于: 根據(jù)與所述2D幀視頻相鄰的一幀視頻,確定所述2D幀視頻的每個(gè)像素的運(yùn)動(dòng)矢量; 根據(jù)所述每個(gè)像素的運(yùn)動(dòng)矢量,得到所述每個(gè)像素的運(yùn)動(dòng)信息。
25.根據(jù)權(quán)利要求24所述的幀視頻轉(zhuǎn)換裝置,其特征在于,所述第三確定模塊還用于: 根據(jù)所述每個(gè)像素的運(yùn)動(dòng)信息,得到所述每個(gè)像素的深度信息; 根據(jù)所述每個(gè)像素的深度信息,確定所述2D幀視頻的第二深度圖。
26.根據(jù)權(quán)利要求19-25中任一項(xiàng)所述的幀視頻轉(zhuǎn)換裝置,其特征在于,所述第二生成模塊用于: 將所述第一深度圖與所述第二深度圖融合,以生成所述2D幀視頻的第三深度圖;根據(jù)所述第三深度圖及所述`2D幀視頻,生成所述2D幀視頻對(duì)應(yīng)的3D幀視頻。
【文檔編號(hào)】H04N13/04GK103686139SQ201310712466
【公開(kāi)日】2014年3月26日 申請(qǐng)日期:2013年12月20日 優(yōu)先權(quán)日:2013年12月20日
【發(fā)明者】韓明臣, 鄭喆坤, 王磊, 侯彪 申請(qǐng)人:華為技術(shù)有限公司
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1