近日，中國科學院深圳先進技術(shù)研究院·勞特伯生物醫(yī)學成像研究中心胡戰(zhàn)利研究員團隊與中山大學附屬腫瘤醫(yī)院樊衛(wèi)主任團隊以及上海聯(lián)影醫(yī)療公司的“產(chǎn)研醫(yī)合作成果”，以O(shè)IF-Net: An Optical Flow Registration-Based PET/MR Cross-Modal Interactive Fusion Network for Low-Count Brain PET Image Denoising為題發(fā)表在醫(yī)學成像領(lǐng)域頂刊IEEE Transactions on Medical Imaging（IF=10.6）上。
PET/MR是PET和MRI有機結(jié)合形成的一體化大型功能代謝與分子影像診斷設(shè)備，同時具備PET和MRI的檢查功能。為了降低PET輻射劑量、縮短掃描時間，研究團隊引入磁共振解剖信息以輔助PET成像?？紤]到PET和MR兩種模態(tài)可能存在的位置配準問題，團隊提出了利用光流網(wǎng)絡將兩者對齊，并且將光流網(wǎng)絡嵌入到“端對端”網(wǎng)絡模型中，無需額外標簽進行監(jiān)督學習（如圖1）。
由于PET/MR兩種模態(tài)在紋理上存在顯著性差異，直接通過卷積學習這兩種模態(tài)之間的對齊映射關(guān)系非常困難。由此，團隊首先使用傳統(tǒng)的圖像腐蝕和膨脹技術(shù)來計算PET和MR圖像的主要輪廓，然后再基于這些輪廓信息來構(gòu)建光流的偏移量?；谳喞獙W習的方法不僅簡單有效，而且使得水平和垂直方向偏移量的學習也更加精準。
為了增強PET/MR圖像特征提取和融合效果，團隊還設(shè)計了一個“空間-通道”特征增強模塊（SC-FEM），考慮了多模態(tài)之間的交互影響并在空間和通道維度上提供了額外的信息靈活性；此外，團隊提出的跨模態(tài)特征融合模塊（CM-FFM）在多個特征層級上采用了交叉注意力機制，進一步增強了兩種模態(tài)的特征融合過程。圖2可視化了所提出SC-FEM和CM-FFM在去噪過程中的作用。
中國科學院深圳先進技術(shù)研究院客座學生付明翰為論文第一作者，胡戰(zhàn)利研究員為論文通訊作者。該研究得到了國自然優(yōu)青項目/數(shù)學天元重點專項/面上項目、國家重點研發(fā)計劃重大科學儀器項目、深圳醫(yī)科院原創(chuàng)探索項目、深圳市杰青項目/重點項目的資助。
圖1 提出的基于光流配準的PET/MR成像技術(shù)，（a）提出的OIF-Net整體結(jié)構(gòu)，包含的兩個分支分別處理PET/MR兩種模態(tài)輸入和特征融合，（b）空間-通道特征增強模塊，（c）光流配準模塊，（d）跨模態(tài)特征融合模塊
圖2 基于光流配準的輪廓學習技術(shù)，（a）原始輸入的MR 圖像，紅色曲線代表 MR圖像的輪廓，（b）配準模塊校正后的 MR 圖像，藍色曲線表示配準MR圖像的輪廓，（c）配置變換前后的MR圖像之間的像素強度差異，（d）稀疏光流場，顯示配準預測網(wǎng)絡的水平和垂直方向偏移量
