林紹輝1,2,杜民2,高欽泉1,2,高躍明1,2
?。?. 福州大學 物理與信息工程學院,福建 福州 350116;2. 福州大學 福建省醫(yī)療器械和醫(yī)藥技術(shù)重點實驗室,福建 福州 350116)
摘要:圖像配準技術(shù)在醫(yī)學圖像處理與分析中扮演著重要的角色,為了促進其在實際臨床中的應(yīng)用,設(shè)計并實現(xiàn)了一款多模態(tài)醫(yī)學圖像配準系統(tǒng)。該系統(tǒng)集成了多種先進的配準算法,包括線性和非線性配準,并提供友好的圖形界面和可視化功能。此外,系統(tǒng)還提供去噪聲預(yù)處理并支持混合配準策略,用于提高圖像配準的質(zhì)量和效率,配準的中間過程實時動態(tài)顯示。實驗結(jié)果表明,該系統(tǒng)能夠便捷、高效地完成復雜的醫(yī)學圖像配準。
關(guān)鍵詞:醫(yī)學圖像;自動配準系統(tǒng);交互可視化;實時顯示
中圖分類號:TP317.4文獻標識碼:ADOI: 10.19358/j.issn.1674-7720.2017.01.004
引用格式:林紹輝,杜民,高欽泉,等. 基于IRTK與VTK的醫(yī)學圖像配準與可視化系統(tǒng)[J].微型機與應(yīng)用,2017,36(1):11-14.
0引言
隨著電子成像技術(shù)的快速發(fā)展,多模態(tài)的醫(yī)學圖像正改變著傳統(tǒng)醫(yī)療的診斷和治療方式[12],特別在放射治療領(lǐng)域[3]。對不同模態(tài)中特定的解剖學信息進行綜合[4],能夠為疾病的早期診斷和治療提供更加豐富、準確的信息[5]。然而,由于各個模態(tài)圖像的成像原理不同,圖像在分辨率、體素間隔以及圖像的大小等方面存在很大的差異。即使是單模態(tài)成像也會因病人在成像時的擺位,以及軟組織的非線性形變的不同,使得臨床醫(yī)生無法直接對其進行信息提取、綜合和分析。因此,在對多模態(tài)圖像信息的綜合,需要解決圖像之間的匹配問題,即圖像配準。
所謂圖像配準[6]就是尋求一種最優(yōu)的變換關(guān)系,使得兩幅或者多幅醫(yī)學圖像上的對應(yīng)點達到解剖位置與空間位置上的一致。多年以來,國內(nèi)外已有大量的研究致力于配準算法的發(fā)展[78],但在配準軟件和平臺[9]的研發(fā)上卻少之又少。由于技術(shù)和資金限制,目前大多數(shù)醫(yī)院配備的系統(tǒng)軟件只包含剛性配準技術(shù),無法滿足軟組織非剛性形變的配準需求。缺乏合適的軟件系統(tǒng)是阻礙先進配準技術(shù)在臨床應(yīng)用中的絆腳石。在數(shù)字醫(yī)療時代下,無論哪種模態(tài)的醫(yī)學影像,要在臨床的診斷、治療中發(fā)揮更好的作用都離不開相應(yīng)軟件系統(tǒng)的支持[10]。
為了促進圖像配準技術(shù)在實際臨床中的應(yīng)用,本文在Qt(Qt creator)提供圖形用戶界面的框架下,采用IRTK(Image Registration Toolkit)實現(xiàn)線性和非線性自動配準,并結(jié)合VTK(Visualization Toolkit)完成三維重建,最終設(shè)計并實現(xiàn)了一款多模態(tài)醫(yī)學圖像配準與可視化系統(tǒng)。
1系統(tǒng)設(shè)計
1.1基于IRTK的自動配準
IRTK是一款專門處理醫(yī)學圖像配準的算法平臺,由英國帝國理工學院編程實現(xiàn),封裝了許多常用的圖像配準算法,為配準軟件的開發(fā)提供了有利工具。
圖像配準按變換模型可分為剛性、仿射變換,其中剛性最為簡單,只包含旋轉(zhuǎn)和平移,仿射變換則在此基礎(chǔ)上增加了錯切和縮放兩個變換。然而,對于人體軟組織的非剛性形變形式,上述兩種線性方法卻顯得無能為力,這也是目前大多數(shù)醫(yī)院面臨的難題。因此,本系統(tǒng)引入目前最為優(yōu)秀和主流的基于B樣條的自由形變模型非線性配準算法。該方法由RUECKERT D等人提出[11],其形變模型由全局和局部變換兩部分組成:
T(x,y,z)=Tglobal(x,y,z)+Tlocal(x,y,z)(1)
其中,全局變換由剛性變換或仿射變換完成;局部變換為基于B-樣條的自由形變模型,對該方法的詳細介紹見參考文獻[11]。
除了形變模型,圖像配準中還包括相似測度、插值以及優(yōu)化方法。其中相似性度量描述了配準后圖像的相似度,插值器主要應(yīng)用于移動的圖像中的非網(wǎng)格點數(shù)據(jù)值的計算,優(yōu)化方法則根據(jù)約束條件找到使得兩幅圖像相似測度達到最大的變換矩陣。本系統(tǒng)提供的相似測度包括互信息、歸一化互信息、相關(guān)比等。優(yōu)化方法包括梯度下降法、牛頓下山法,聯(lián)合下降法等。插值器包括線性插值、B-樣條插值、牛頓插值等,通過設(shè)置不同的參數(shù)實現(xiàn)特定任務(wù)的配準。
系統(tǒng)的非線性配準算法由IRTK算法平臺中的irtkImageFreeFormRegistration類實現(xiàn)。使用該類進行配準的具體步驟如下:
初始化:
(1)導入?yún)⒖紙D像和待配準圖像。
?。?)設(shè)置控制點間隔、優(yōu)化器、相似測度、插值器、金字塔層數(shù)及其他參數(shù)。
運行:irktImageFreeFormRegistration
?。?)重復優(yōu)化, 直到找到使得相似測度達到最大的形變矢量場。
輸出:配準結(jié)果及形變矢量場
結(jié)束。
此外,本文在系統(tǒng)中實現(xiàn)了多種方法聯(lián)合配準的策略,通過將初級配準的形變矢量場作為更高級配準方法的輸入,以獲得更好的初始化,最終生成配準結(jié)果。該策略用于應(yīng)對復雜的配準任務(wù)時,可避免直接采用非線性配準無法實現(xiàn)準確配準的難題。
1.2基于VTK的圖像顯示及三維重建
VTK是一款進行數(shù)據(jù)可視化的開發(fā)工具包,其面向通用可視化領(lǐng)域,具有良好的可移植性,提供用于三維計算機圖形學和可視化的類庫,尤其在三維重建具有強大的功能。
本系統(tǒng)的醫(yī)學圖像三準視圖使用VTK的vtkSliceImageViewer與QVTKWidget完成顯示,并結(jié)合Qt的信號與槽機制實現(xiàn)人機交互。同時,本文采用多線程編程技術(shù)實現(xiàn)圖像配準和可視化過程的并行處理,提供配準過程實時動態(tài)顯示,方便監(jiān)測配準過程以及參數(shù)調(diào)整。
在三維重建方面,使用VTK的Marching Cubes面繪制提供三維醫(yī)學圖像的空間位置信息。面繪制利用分割技術(shù)對一系列的三維圖像進行特征提取,利用提取的特征還原出被檢測物體的三維模型,并以表面的方式顯示,其基本步驟如下:讀取器提取等值面數(shù)據(jù)處理映射器實例化角色繪制器繪制窗口交互器交換方式。
1.3去噪聲預(yù)處理
醫(yī)學圖像在獲取和傳輸過程中容易受到噪聲的影響,不僅會降低圖像質(zhì)量,同時也會影響配準的精度。因此,在配準之前需要進行去噪聲預(yù)處理。本系統(tǒng)提供中值濾波法實現(xiàn)圖像去噪聲功能。中值濾波是一種非線性平滑技術(shù),在去除噪聲的同時能夠較好地保留圖像的邊緣信息。圖1給出T2MRI腦圖像去噪聲的前后對比。
1.4基于Qt的人機交互界面
Qt是一個開源、跨平臺的圖形用戶界面應(yīng)用框架,其以QWidget為基礎(chǔ),包含按鈕、標簽以及工具欄等多種類型的圖形用戶界面(Graphic User Interface,GUI)組件,廣泛應(yīng)用于系統(tǒng)的GIU開發(fā)。此外,Qt提供了豐富的信號與槽(signals/slots)機制實現(xiàn)各個對象之間的通信,為人機交互奠定良好的基礎(chǔ)。
基于上述系統(tǒng)目標,并結(jié)合實際臨床應(yīng)用的場景,本文利用Qt進行系統(tǒng)的界面開發(fā)。系統(tǒng)的主界面如圖2所示。
2應(yīng)用與結(jié)果
本文結(jié)合15例實際臨床數(shù)據(jù)對本系統(tǒng)進行測試,其中包括4例二維(T1,T2) MRI腦圖像和11例三維宮頸癌內(nèi)外照射放療CT圖像,這些臨床數(shù)據(jù)由福建省腫瘤醫(yī)院提供。限于本文的篇幅,在此分別給出其中的一套數(shù)據(jù)進行說明。
2.1二維(T1,T2)MRI腦圖像配準
二維(T1,T2)MRI腦圖像的分辨率均為256×256,像素均為1 mm×1 mm。將T1、T2腦圖像分別作為參考和浮動圖像導入系統(tǒng),使用系統(tǒng)提供的去噪功能對待配準的圖像作預(yù)處理。本文分別使用剛性、仿射和非線性三種變換模型進行測試。參數(shù)設(shè)置:金字塔層數(shù)為3,歸一化互信息為相似測度,梯度下降法為優(yōu)化法以及線性插值器。在非線性配準中,設(shè)置控制點網(wǎng)格分辨率為20。當然,用戶可以根據(jù)具體任務(wù)進行參數(shù)設(shè)置。配準結(jié)果如圖3所示。
表1根據(jù)圖像的相關(guān)比(Correlation Coefficient,CC)總結(jié)了噪聲對二維(T1,T2)MRI腦圖像配準結(jié)果的影響。
2.2宮頸癌內(nèi)外照射三維CT圖像的配準
外照射CT圖像分辨率為512×512×40,像素為0.976 6 mm×0.976 6 mm×5 mm;內(nèi)照射CT圖像分辨率為512×512×40,像素為0.976 6 mm×0.976 6 mm×2.5 mm。將外照射CT作為參考圖像,內(nèi)照射CT為浮動圖像進行配準,參數(shù)設(shè)置同上述二維圖像配準。由于腿部存在局部大形變,因此采用仿射與非線性聯(lián)合配準的配準策略完成配準。圖4給出了非線性配準的結(jié)果。
3討論
筆者發(fā)現(xiàn),雖然二維(T1,T2)MRI腦圖像屬于同一病人,但由于成像原理不同導致圖像存在很大差異。經(jīng)過剛性和仿射配準后在一定程度上減少了它們之間的差異,但其效果遠不及非線性配準,這主要是因為線性變換只包含簡單的旋轉(zhuǎn)和平移變換,無法應(yīng)對軟組織的非剛性形變問題。另一方面,從配準后兩幅圖像的相關(guān)比可知,圖像中的噪聲不僅降低了圖像的質(zhì)量,而且極大地降低了圖像配準的精度。從圖4可以看出采用多種方法聯(lián)合配準的策略能夠準確完成宮頸癌內(nèi)外照射放療三維CT圖像的配準。
4結(jié)束語
本文基于IRTK和VTK并結(jié)合Qt實現(xiàn)了多模態(tài)醫(yī)學圖像配準與可視化系統(tǒng),提供包含線性和非線性配準方法。結(jié)果證實了系統(tǒng)的去噪聲預(yù)處理和混合配準策略提高了圖像配準的精度和靈活性,通過友好的圖形界面和可視化功能簡化了復雜的配準過程。下一步的工作將研究非線性配準方法在腫瘤放療劑量評估的應(yīng)用,并在系統(tǒng)中實現(xiàn),為個性化放療提供有力的系統(tǒng)支撐。
參考文獻
[1] 佟正灝, 王榮福. 多模態(tài)影像技術(shù)在臨床中的應(yīng)用進展[J]. CT 理論與應(yīng)用研究, 2014,23(4):707 714.
?。?] 李偉, 朱學峰. 醫(yī)學圖像融合技術(shù)及其應(yīng)用[J]. 中國醫(yī)學影像技術(shù), 2005,21(7):1126 1129.
[3] CHEN S, SCHILDKRAUT J S. Image fusion for radiation therapy:US 7848592[P/OL]. (2010 12 7)
?。?] WANG L, LI B, TIAN L F. Multimodal medical image fusion using the interscale and intrascale dependencies between image shiftinvariant shearlet coefficients[J]. Information Fusion, 2014,19(1):20 28.
?。?] SINGH R, KHARE A. Fusion of multimodal medical images using daubechies complex wavelet transform–a multiresolution approach [J]. Information Fusion, 2014,19(3):49 60.
[6] RUECKERT D, SCHNABEL J A. Medical image registration[J]. Physics in Medicine & Biology,2011,46(3): 145.
?。?] OLIVEIRA F P, TAVARES J M R. Medical image registration: a review[J]. Computer Methods in Biomechanics and Biomedical Engineering, 2014,17(2):73 93.
[8] 申艷平. 醫(yī)學圖像配準技術(shù)[J]. 中國醫(yī)學物理學雜志, 2013,30(1):38853889.
?。?] 黃善清, 龍鵬程. 基于ITK與VTK的配準融合方法的研究與應(yīng)用[J]. 計算機應(yīng)用, 2010,30(s1):140 142.
?。?0] ElGAMAL E Z A, ELMOGY M, ATWAN A. Current trends in medical image registration and fusion[J]. Egyptian Informatics Journal, 2015,17(1):99 124.
?。?1] RUECKERT D, SONODA L I, HAYES C, et al. Nonrigid registration using freeform deformations: application to breast MR images[J]. IEEE Transactions on Medical Imaging, 1999,18(8):712 721.