本發(fā)明涉及中醫(yī)舌診領(lǐng)域,尤其涉及一種三維圖像重建方法。
背景技術(shù):
舌診是中醫(yī)四診的重要組成部分,在許多中醫(yī)學(xué)著作中都有舌診的記載,其是中醫(yī)辨證論治的重要方法之一,歷代著名醫(yī)家都非常重視舌診的研究,使其不斷完善并形成中醫(yī)舌診學(xué)系統(tǒng)。
中醫(yī)學(xué)認為“舌為心之侯,苔乃胃之明徵”,“有諸內(nèi)者必形于外”,舌體的不同區(qū)域直接或間接與人體五臟六腑相聯(lián)系,舌象的變化能夠更迅速地反應(yīng)疾病發(fā)展程度,客觀反映病情。醫(yī)生是這種生理變化的解讀者,通過觀察舌像,以了解人內(nèi)在所患疾病。由于舌像能反映人體的生理病理變化,是觀察體內(nèi)功能變化的一個窗口,因此在疾病診斷、早期發(fā)現(xiàn)、推斷預(yù)后都具有重要意義。
中醫(yī)舌診客觀化、定量化研究已有一定歷史?;仡櫰浒l(fā)展歷程,研究基礎(chǔ)分為二維舌像和三維舌像。當(dāng)前的客觀化舌診主要基于二維舌圖像,可得到顏色、紋理、形態(tài)、潤燥、舌苔薄厚等多個生理信息,在一定程度上能反映患者病理情況,如第二軍醫(yī)大學(xué)的岳小強等基于臨床總結(jié)了肝癌的舌色特征,并對其形成和臨床意義得出初步結(jié)論。由此可見,二維舌像客觀化研究對于自動化疾病診斷和早期發(fā)現(xiàn)有非常重要意義,極大的推動了中醫(yī)的全球化發(fā)展。但是由于二維舌像深度信息的缺失,也造成了部分生理信息的提取困難,如作為二維舌像分析基礎(chǔ)的舌體分割,當(dāng)前舌體分割方法有基于顏色的閾值分割法、snakes、圖論分割方法等,陳善超等人提出一種改進的圖論分割方法,將多分辨分析與graph-based方法結(jié)合進行舌體分割,韋玉科等人提出了改進的grabcut方法,利用四叉樹分解對采集的舌體初分割,然后用相似區(qū)域的顏色均值優(yōu)化grabcut算法中高斯混合模型參數(shù),最終實現(xiàn)舌體分割。而三維舌像只需利用深度信息即可完成舌體分割。同時二維舌像不能反映舌表面的齒痕、點刺、裂痕等細節(jié)信息,這些結(jié)構(gòu)也包含了部分生理病理信息,因此約束了舌像信息的全面性,妨礙了醫(yī)生的正確診斷。此外建立三維舌模型對多個領(lǐng)域都有極大的益處,如掌握人類發(fā)音過程中舌頭的形變規(guī)律對于頭頸外科醫(yī)生以及語言學(xué)家十分重要,此外在生物力學(xué)、人機交互、計算機輔助語言教學(xué)、電影制作等方面都將發(fā)揮極大的作用。因此,對于三維舌像的研究是十分必要且有價值的,已經(jīng)成為當(dāng)今舌診客觀化的研究熱點。
因為舌的隱蔽性,對于舌像三維重建的研究始于上世紀80年代,起步晚研究少。研究者的側(cè)重點各有不同。一部分研究者為探究舌形狀與語言發(fā)音、表情的關(guān)系,因此研究重點在于基于模型的參數(shù)化舌模型建立,而另一部分研究者出發(fā)點是作為中醫(yī)舌診的醫(yī)學(xué)標(biāo)準化診斷,注重于形狀、顏色及紋理,因此研究重點在于基于圖像或圖像與模型相結(jié)合的舌重建。先后有國外學(xué)者andrewj.lundberg、engwallo,用超聲圖像、mri圖像來重建舌形狀。jiyongma、mihaidanielilie利用三維建模軟件并參考舌體解剖學(xué)信息建立舌模型,前者在在中矢面上手動選擇12個控制點來控制舌形狀變化,后者根據(jù)幾何特征選擇五個控制點,均可實現(xiàn)不同字母及表情的舌形狀。zhixiangchen在deng的基礎(chǔ)上提出新型肌肉控制舌模型,將舌肌肉分為內(nèi)在和外在肌肉,分別控制形變和運動,對其分別建模,可實現(xiàn)自然舌運動及一些基本語言下的舌形狀,例如舌體卷曲。未來研究方向是模型總控制機制。chenjiang用三維mri圖像提供的醫(yī)學(xué)數(shù)據(jù)重建舌幾何模型,用有限元法實現(xiàn)舌的生物力學(xué),得到了較好的效果。以上研究在可視化語言應(yīng)用領(lǐng)域得到良好的效果,但作為醫(yī)學(xué)診斷依據(jù)來說缺乏舌表面的細節(jié)信息,且需要精確復(fù)雜的解剖學(xué)信息。國內(nèi)的劉志提出基于多視點圖像和有限元法的舌重建,滿足真實舌的動態(tài)特性但不能分辨舌表面的齒痕等細微結(jié)構(gòu)。呂慧娟等提出基于光度立體法的舌表面重建,能分辨舌表面細微結(jié)構(gòu),但是實驗基礎(chǔ)是基于靜態(tài)舌模型。因此需要一種同時滿足真實舌動態(tài)特性和高分辨率的三維舌像重建方法。
技術(shù)實現(xiàn)要素:
本發(fā)明為了解決現(xiàn)有以醫(yī)學(xué)診斷為目的的三維舌像重建方法存在的真實舌動態(tài)特性與分辨率不兼得的問題,公開了一種三維圖像重建方法,解決了真實舌重建的動態(tài)特性和高分辨率不兼得的問題,并提供良好的照明環(huán)境,使得圖像清晰度大大提高,可用于醫(yī)學(xué)診斷。
為了實現(xiàn)上述目的,本發(fā)明采用如下方案:
一種三維圖像重建方法,其特征在于:包括以下步驟:
步驟一、2000cd光環(huán)境下進行圖像對采集,得到標(biāo)定板圖像和舌圖像對;
步驟二、圖像預(yù)處理,滿足基線約束的舌圖像對,為線性增長提供初始特征點;
步驟三、改進的線性種子點增長立體匹配算法,得到視差圖;
步驟四、視差圖感興趣區(qū)域提取及濾波,得到感興趣區(qū)域視差圖;
步驟五、點云重建及模型重建,得到舌像點云圖和完整舌模型。
進一步的,所述步驟一用到的設(shè)備有投影儀、暗箱、計算機和兩部平行放置的相機;所述相機和所述投影儀放置在所述暗箱中,所述相機正對的所述暗箱側(cè)壁上設(shè)有舌位孔和下頜托;具體操作先由所述計算機控制所述相機采集不同角度的標(biāo)定板圖像,并開啟投影儀,再由所述計算機控制所述相機采集伸舌狀態(tài)下的舌像對;所述步驟一用到的設(shè)備有投影儀、暗箱、計算機和兩部平行放置的相機;所述相機和所述投影儀放置在所述暗箱中,所述相機正對的所述暗箱側(cè)壁上設(shè)有舌位孔和下頜托;具體操作先由所述計算機控制所述相機采集不同角度的標(biāo)定板圖像,并開啟投影儀,再由所述計算機控制所述相機采集伸舌狀態(tài)下的舌像對;所述投影儀為微型投影儀;所述暗箱(6)的左右兩側(cè)壁上分別安裝一個照明燈(11);所述照明燈(11)為激光燈,且緊貼所述照明燈(11)的燈口處分別設(shè)有擴束鏡,所述擴束鏡與激光光束垂直;所述舌位孔左右兩側(cè)分別豎立設(shè)有一個反光鏡(12),所述反光鏡(12)分別與所述兩束激光光束成45度角,且經(jīng)所述反光鏡(12)反射后的光束正好照在所述舌位孔(8)處;所述反光鏡(12)與所述舌位孔(8)之間分別設(shè)有一塊毛玻璃,并且兩塊所述毛玻璃分別與各自對應(yīng)的激光光束垂直。
進一步的,所述相機為佳能700d相機。
進一步的,所述暗箱由乳白色亞克力材料制成。
優(yōu)選的,所述相機基線長度為16cm,焦距為45mm;所述相機正對的暗箱側(cè)壁與所述相機中心的距離為1.2m;所述相機采集圖像的分辨率為1920x1280,所述相機快門速度為1/200s。
進一步的,所述投影儀為紐曼ph06a微型投影儀。
優(yōu)選的,所述投影儀與所述舌位孔距離為55cm。
進一步的,所述標(biāo)定板圖像不少于20個,且平整粘貼在標(biāo)定板上。
優(yōu)選的,所述標(biāo)定板圖像為63個;所述63個標(biāo)定圖像為大小為3cm的黑白相間正方形棋盤,橫向9個,縱向7個。
進一步的,所述步驟二包括基線校正及邊緣提取。
進一步的,所述基線校正及邊緣提取具體為:基于matlab標(biāo)定工具箱標(biāo)定系統(tǒng),利用標(biāo)定結(jié)果對所述舌圖像對基線校正,截取校正后舌圖像對中舌體部分的圖像,利用canny算子提取舌圖像對的邊緣特征。
進一步的,步驟三包括以下四個步驟(s1-s4):
s1.輸入經(jīng)過所述圖像預(yù)處理的圖像,截取舌體區(qū)域;
s2.canny算法提取舌體區(qū)域邊緣特征;
s3.在唯一性、單調(diào)性等約束下根據(jù)ρδ(ssd)匹配特征點,所述δ選擇為2,線性增長閾值選擇為0.1;
s4.從初始種子點矩陣中,按順序選擇一對種子點,首先判斷種子點右側(cè)的點是否為初始種子點,如果不是種子點,則計算匹配相似性并判斷是否滿足匹配條件。如果是,則選擇下一對種子點。直至完成所有初始種子點的線性增長,至此得到舌體部分稠密的所述視差圖。
進一步的,所述步驟四具體為:對所述視差圖橫向求導(dǎo),確定所述視差圖導(dǎo)數(shù)突變位置,將左側(cè)突變位置的左側(cè)、右側(cè)突變位置的右側(cè)視差置0,即可得到感興趣區(qū)域、雙邊濾波平滑所述視差圖。
優(yōu)選的,所述雙邊濾波平滑視差圖的參數(shù)選擇為:濾波器半寬為4,空間鄰近度因子為5,亮度相似性因子為0.1。
進一步的,所述步驟五依據(jù)所述感興趣部分舌體視差圖,根據(jù)視差測距法重建點云并粘貼紋理,利用geomagicstudio自動修補功能擬合舌背,完成舌模型。
本發(fā)效果是基于雙目立體視覺的三維重建方法,能在5分鐘以內(nèi)的時間中以0.1626mm的重建精度完成真實舌表面重建和舌模型重建。相比長達數(shù)小時以mri、ct等醫(yī)學(xué)圖像為基礎(chǔ)的參數(shù)化舌模型重建方法,大大縮短了重建時間。相比劉志提出的基于多視點圖像和有限元法的舌重建法,其用到三部相機,減小了重建成本,提高了重建精度。相比呂慧娟等提出基于光度立體法的舌表面重建,滿足真實舌重建的動態(tài)特性。基于三維數(shù)據(jù)提取三維特征,結(jié)合二維特征為疾病診斷和早期發(fā)現(xiàn)提供依據(jù)。此外建立三維舌模型對多個領(lǐng)域都有極大的益處,如掌握人類發(fā)音過程中舌頭的形變規(guī)律對于頭頸外科醫(yī)生以及語言學(xué)家十分重要,此外在生物力學(xué)、人機交互、計算機輔助語言教學(xué)、電影制作等方面都將發(fā)揮極大的作用。
附圖說明
圖1為本發(fā)明舌像重建方法流程圖。
圖2為本發(fā)明舌像重建系統(tǒng)結(jié)構(gòu)圖。
圖3為本發(fā)明點刺舌三維點云圖。
圖4為本發(fā)明齒痕舌三維點云圖。
圖5為本發(fā)明正常舌三維點云圖。
圖6為本發(fā)明正常舌模型主視圖。
圖7為本發(fā)明正常舌模型左視圖。
圖中:1、計算機2、usb數(shù)據(jù)線3、第一佳能700d4、第二佳能700d5、投影儀6、暗箱7、u盤8、舌位孔9、下頜托10、用戶11、照明燈12、反光板
具體實施方式
下面將結(jié)合附圖,對本申請實施例中的技術(shù)方案進行清楚、完整地描述,參考在附圖中示出并在以下描述中詳述的非限制性示例實施例,更加全面地說明本公開的示例實施例和它們的多種特征及有利細節(jié)。應(yīng)注意的是,圖中示出的特征不是必須按照比例繪制。本申請省略了已知材料、組件和工藝技術(shù)的描述,從而不使本申請的示例實施例模糊。所給出的示例僅旨在有利于理解本公開示例實施例的實施,以及進一步使本領(lǐng)域技術(shù)人員能夠?qū)嵤┦纠龑嵤├R蚨?,這些示例不應(yīng)被理解為對本申請的實施例的范圍的限制。
除非另外特別定義,本申請使用的技術(shù)術(shù)語或者科學(xué)術(shù)語應(yīng)當(dāng)為本申請所屬領(lǐng)域內(nèi)具有一般技能的人所理解的通常意義。本公開中使用的“第一”、“第二”以及類似的詞語并不表示任何順序、體積、面積、尺寸或者重要性,而只是用來區(qū)分不同的組成部分。此外,在本申請各個實施例中,相同或類似的參考標(biāo)號表示相同或類似的構(gòu)件。
如圖1-2所示。一種三維圖像重建方法,步驟包括:步驟一、舌圖像對采集;步驟二、圖像預(yù)處理,包括:基線校正及邊緣提?。徊襟E三、改進的線性種子點增長立體匹配算法;步驟四、視差圖感興趣區(qū)域提取及濾波;步驟五、點云重建及模型重建。
一、舌圖像對采集:舌像采集系統(tǒng)由兩部平行放置的佳能700d相機(即第一佳能700d3和第二佳能700d4)、投影儀5、暗箱6和計算機1組成。第一佳能700d和第二佳能700d分別通過usb數(shù)據(jù)線2與計算機1連接。暗箱6使采集環(huán)境能夠相對獨立于外部環(huán)境,盡可能減小外部天氣狀況,環(huán)境光照的影響,同時也使采集環(huán)境可以隨時控制和調(diào)節(jié),其由乳白亞克力材料制成,用于均勻光照,減少反光點。相機和投影儀均按一定空間位置放置在暗箱中,相機正對的暗箱面上有成年人面部尺寸的舌位孔8和下頜托9,用戶10下頜置于下頜托9上,伸舌進舌位孔8,使得用戶10可在測試過程舒適且防止了外界光源對舌表面的影響。舌表面屬于立體視覺中難處理的弱紋理區(qū)域且顏色相近,有效邊緣僅有舌體邊緣,因此利用投影儀產(chǎn)生黑白相間的條紋來增加舌表面的特征點,同時充當(dāng)照明設(shè)備。增加相機基線長度可提高場景點深度計算精度但也會造成遮擋,因此在不遮擋的情況下并考慮相機的實際尺寸,取基線長度為16cm,場景點與相機中心距離為1.2m。45mm焦距的相機可采集真彩色、高分辨率的舌圖像,同時其高幀速率和可調(diào)曝光時間解決了舌顫動問題,圖像分辨率為1920x1280,快門速度1/200s。投影儀5為紐曼ph06a微型投影儀,投影儀5與u盤7連接,可讀取u盤7的數(shù)據(jù),分辨率1280x800dpi,最小投影距離18cm。舌表面條紋的稠密和投影儀與舌的距離及投影圖中條紋稠密有關(guān),投影儀離舌近則亮度強造成舌表面平滑,距離遠則舌表面條紋清晰度差,因此經(jīng)實驗投影儀與舌表面距離為55cm時效果最佳。此時黑條紋占8個像素,條紋間距為16個像素。計算機控制相機采集超過20張不同角度的標(biāo)定板圖像,打開投影儀采集伸舌狀態(tài)下的被試舌像。暗箱6的左右兩側(cè)壁上分別按照一個照明燈11。照明燈11為激光燈,緊貼激光燈口處與光束垂直方向設(shè)置一個擴束鏡,用以把原始激光擴大到需要的粗度的光束。在兩束擴束后的激光所經(jīng)位置分別設(shè)置一個反光鏡12,反光鏡12與各自反光的光束成45度角,經(jīng)反光鏡12后的光束正好照在舌位孔8處。反光鏡12與舌位孔8之間分別設(shè)有一塊毛玻璃,并且兩塊毛玻璃分別與各自對應(yīng)的反射后的光束垂直。毛玻璃可以使通過它的激光束變的均勻,從而達到更好的照明效果。
舌圖像對采集用于標(biāo)定系統(tǒng)的標(biāo)定板圖像和用于重建的舌像對。相機中心距離設(shè)為16cm,投影儀與舌位孔距離設(shè)為55cm。標(biāo)定圖像為63個大小為3cm的黑白相間正方形棋盤,橫向9個,縱向7個,平整的粘貼在木質(zhì)板上作為標(biāo)定板。標(biāo)定板由經(jīng)過訓(xùn)練的實驗人員操作,實現(xiàn)超過20個角度的擺放位置,每個角度不超過45°。根據(jù)中醫(yī)舌診的經(jīng)驗和習(xí)慣,為了保證在統(tǒng)一的條件下采集舌像對,規(guī)定采集的步驟和對患者的要求:
1、要求患者在拍攝前兩個小時不得進食,避免飲食對舌、苔色及細微結(jié)構(gòu)造成影響。
2、患者取正姿勢,做吞咽動作,將口水吸干。
3、下顎放在儀器的托架上,前額頂住靠架,保持靜止。
4、謝月敏提出最佳舌露出度為“人字界”(舌體占舌的前2/3,舌根占舌的后1/3,兩者在舌背的分界為“人字界”),且“人字界”定位符合舌診的要求,能使醫(yī)者全面準確地觀察舌象,因此對患者進行伸舌訓(xùn)練?;颊卟捎谜唬鎸η胺?,張口,自然的將舌伸出口外,舌體放松,舌面展平,舌尖略向下,盡量張口,以充分暴露舌體。
5、開啟投影儀,計算機控制相機采集舌像對。
此步驟為后續(xù)標(biāo)定工作提供標(biāo)定板圖像對,為重建部分提供舌圖像對。
二、圖像預(yù)處理:基線校正及邊緣提取。利用上步所得標(biāo)定板圖像和matlab中的stereocameracalibration工具箱標(biāo)定雙目立體視覺系統(tǒng)。因相機安裝及其本身組裝誤差,其光心不是完全平行,因此根據(jù)標(biāo)定所得參數(shù)對舌像對基線校正。為了保證舌體部分邊緣提取及匹配的準確性,截取舌體部分圖像,后續(xù)工作基于此圖像對。采用性能優(yōu)良的邊緣檢測技術(shù)canny算子提取舌體部分邊緣特征。此步驟為后續(xù)工作提供滿足基線約束的圖像對,為線性增長提供初始特征點。
利用標(biāo)定板圖像和matlab中的stereocameracalibration標(biāo)定系統(tǒng),要求每幅圖像標(biāo)定誤差均小于1個像素,否則重新采集標(biāo)定圖像。截取基線校正后舌像對中的舌體部分,首先定位舌體位置,然后截取舌體部分,盡量使兩幅圖像大小一致。提取邊緣的canny算子靈敏度閾值選擇為0.16,所得邊緣特征寬度占一個像素。
三、改進的線性種子點增長立體匹配算法:由于雙眼視軸間距的存在,同一場景點在左右視網(wǎng)膜上所形成的圖像存在位置差即視差,是大腦感知物體深度的決定性信息。雙目立體視覺即是基于此原理,用兩相機代替人眼,尋找空間一點在兩幅圖像上的對應(yīng)點,利用視差測距法恢復(fù)物體表面深度信息。由此可知立體匹配是立體視覺的重點所在。經(jīng)過多年的發(fā)展,涌現(xiàn)出多種立體匹配方法。結(jié)合舌表面紋理少、深度變化連續(xù)性強的特點,本文采用線性種子點增長算法。
種子點增長算法由otto和chau提出,其基本思想是在視差空間中從一組初始種子點出發(fā),在鄰近區(qū)域中按照灰度相似性測度進行增長直到違反匹配唯一性約束。匹配點相似性準則采用最小平方差算法(sumofsquareddifference,ssd),經(jīng)實驗增大支持窗沒有提高匹配準確性且增大了計算量,因此支持窗大小設(shè)為3*3。
為了解決抗噪性問題,本文首次采用基于ρδ(n)函數(shù)和ssd的相似性測度函數(shù)。本發(fā)明用ssd代替n得到新的立體匹配相似性測度函數(shù)ρδ(ssd),δ選擇為2。經(jīng)實驗效果優(yōu)于ssd算法。邊緣提取所得舌表面邊緣特征點稀疏且特征明顯,因此首先匹配邊緣特征點并作為長線性增的初始種子點。初始種子點匹配時,因為邊緣特征點性質(zhì)相似,所以出現(xiàn)錯誤點的匹配相似性高于正確點的相似性。在此加入?yún)^(qū)域限制,得到左圖待匹配點與其最左邊緣的距離,在右圖距最左邊緣的相應(yīng)距離范圍內(nèi)尋找匹配點,大大提高了匹配準確性。然后選擇具有準確可靠視差的邊緣特征點作為初始種子點,以初始種子點的視差d作為區(qū)域生長的基本視差,因舌表面不是絕對平滑,含有舌乳頭、齒痕等細微結(jié)構(gòu),因此在下一步增長過程中擴充匹配視差范圍,人類能夠匹配的視差梯度為2,因此將區(qū)域生長的視差擴至d-2至d+2,分別計算五個視差下的匹配相似性,在外基線、單調(diào)性等約束下,采用勝者為王算法確定最終的匹配點對及其視差,再以新得到的匹配點作為種子點在水平掃描線上進行生長,直到遇到下一個初始種子點,再以下一對初始種子點開始增長,從而得到整個舌區(qū)域的視差圖。這種舌表面多個初始種子點有效防止錯誤匹配點的傳播。
本發(fā)明立體匹配算法步驟為:
1.輸入經(jīng)過預(yù)處理的圖像,截取舌體區(qū)域。
2.canny算法提取舌體區(qū)域邊緣特征。
3.在唯一性、單調(diào)性等約束下根據(jù)ρδ(ssd)匹配特征點,δ選擇為2,線性增長閾值選擇為0.1。
4.從初始種子點矩陣中,按順序選擇一對種子點,首先判斷種子點右側(cè)的點是否為初始種子點,如果不是種子點,則計算匹配相似性并判斷是否滿足匹配條件。如果是,則選擇下一對種子點。
定義一個與圖像相同大小的全零矩陣作為視差圖。首先匹配邊緣特征點,將左圖邊緣特征點存入矩陣。按順序選擇一個左圖特征點,在右圖相同行中從右圖最左邊緣點的橫坐標(biāo)處開始到右圖倒數(shù)第二個像素分別計算其與特征點匹配相似度并將結(jié)果存入相似度矩陣,計算左圖待匹配特征點據(jù)舌體最左邊緣的橫向距離,在相似度矩陣的相應(yīng)距離范圍內(nèi)尋找最小值,得到其坐標(biāo)值,計算其與待匹配特征點的橫坐標(biāo)差值,將此值賦給視差圖中與待匹配特征點相同坐標(biāo)的點作為此特征點的視差值。按順序選擇下一個左圖邊緣特征點,按上述步驟完成視差值計算,直至完成所有特征點,得到初始種子點。
根據(jù)初始種子點進行線性區(qū)域增長。按順序從初始種子點矩陣中選取一對種子點,記其視差為d,因舌表面不是絕對平滑,含有舌乳頭、齒痕等細微結(jié)構(gòu),因此在下一步增長過程中擴充匹配視差范圍,人類能夠匹配的視差梯度為2,因此將區(qū)域生長的視差擴至d-2至d+2。選取左圖特征點右側(cè)的點,分別計算視差為d-2至d+2處點的匹配相似性,在單調(diào)性等約束下,采用勝者為王算法確定最終的匹配點對并判斷其匹配代價是否小于線性增長閾值,若滿足則此點匹配完成,將視差賦給視差圖相同坐標(biāo)位置的點。再以此匹配點對作為新的種子點進行增長,直至遇到此行下一個初始種子點,結(jié)束增長。選擇下一個初始種子點執(zhí)行上述相同步驟,直至完成所有初始種子點的線性增長,至此得到舌體部分的稠密視差圖。
此步驟為三維重建提供視差圖。
四、視差圖感興趣區(qū)域提取及濾波部分:截取的舌體部分還包含部分嘴角,其不屬于感興趣區(qū)域因此需要去除。伸舌狀態(tài)下舌表面和嘴角不在同一平面,其視差有一定差異,因此對視差圖橫向求導(dǎo),導(dǎo)數(shù)最大的兩個位置就是舌體左右邊緣,將視差圖中左右邊緣以外的視差置零,即可去除嘴角部分。為了獲得較平滑的深度圖,因此在重建前對視差圖濾波。本發(fā)明選擇具有高效的邊緣保持-增強且適用于灰度圖像的雙邊濾波算法。
去除嘴角部分,需要對視差圖橫向求一階導(dǎo)數(shù),尋找導(dǎo)數(shù)矩陣中大于0.8的點及其坐標(biāo)位置,將目標(biāo)點的坐標(biāo)按縱坐標(biāo)升序存放在矩陣中,第一列存放縱坐標(biāo),第二列及以后若干列按升序存放對應(yīng)縱坐標(biāo)下的橫坐標(biāo)值,理論上每行有三個數(shù)即第一個為縱坐標(biāo),第二、三分別為左、右側(cè)邊緣橫坐標(biāo),但由于噪聲的影響,在左右邊緣處會出現(xiàn)多個滿足條件的點,針對此問題對坐標(biāo)矩陣做以下排除工作。如果此行有三個數(shù)則判斷下一行。如果此行有四個數(shù),判斷第二與第三、第三與第四個數(shù)的差值大小,前者小于后者,則去除第二個數(shù),取第三個數(shù)為左邊界橫坐標(biāo),第四個數(shù)為右邊界橫坐標(biāo),若前者大于后者,則去除第三個數(shù),去第二個數(shù)為左邊界橫坐標(biāo),第四個數(shù)為右邊界橫坐標(biāo);如果此行有五個數(shù),則求取第三至五減第二至第四個數(shù)的絕對差值并存入矩陣中,如果第一、二個差值小于3,第三個差值大于10,取原坐標(biāo)矩陣中第三、四個數(shù)分別為左、右邊緣,如果第一個差值大于10,第二、三差值小于3或第一、二差值大于10,第三差值小于3,取原坐標(biāo)矩陣中第一、二個數(shù)分別為左、右邊緣,如差值均大于10,取原坐標(biāo)矩陣中第二、三個數(shù)分別為左、右邊緣;如果此行個數(shù)大于五個數(shù)則絕對差值最大的兩點,將前一個數(shù)取為左邊緣,后一個數(shù)取為右邊緣。據(jù)此可選擇出正確的左右邊緣點。
雙邊濾波參數(shù)選擇為:濾波器半寬為4,空間鄰近度因子為5,亮度相似性因子為0.1。
此步驟獲得平滑的感興趣的舌體部分視差圖。
五、點云重建和模型重建部分:根據(jù)上步所得視差圖用視差測距法計算三維坐標(biāo)得到舌像點云圖,如圖3-5所示,并做紋理粘貼,使其更具真實感。因為舌的生理結(jié)構(gòu),不能得到伸舌狀態(tài)下的舌背圖像,為了獲得完整舌模型,利用逆向工程軟件geomagicstudio的自動修補功能完成舌背自動修補,如圖6、7所示。三維模型可旋轉(zhuǎn)、縮放全方位觀察。
具體為:將原始圖像中的顏色數(shù)量縮小為128,作為重建點云中的對應(yīng)點的顏色。將點云數(shù)據(jù)存為txt格式文件,導(dǎo)入geomagicstudio軟件利用其自動修補功能中的曲率修補完成舌背的擬合,得到完整的舌模型。
此步驟得到舌像點云圖和完整舌模型。
本發(fā)明的有益效果是:可在小于舌顫動的時間內(nèi)采集舌像并實現(xiàn)0.1626mm的重建精度,可同時得到真實舌形狀和顏色信息,為舌診三維定量化、客觀化研究提供有效科學(xué)依據(jù)并用于醫(yī)學(xué)診斷,滿足以醫(yī)學(xué)診斷為目的的舌像三維重建。
以上對本發(fā)明的實施例進行了詳細說明,但所述內(nèi)容僅為本發(fā)明的較佳實施例,不能被認為用于限定本發(fā)明的實施范圍。凡依本發(fā)明申請范圍所作的均等變化、改進或組合等,均應(yīng)仍歸屬于本發(fā)明的專利涵蓋范圍之內(nèi)。