IEEE Transaction on Neural Network and Learning System |基于人工智能的脑影像超分重建研究

近日，中国科学院深圳先进技术研究院数字所生物医学信息中心王书强研究员团队联合斯坦福大学Charles K. Chui教授针对脑影像超分重建中细节纹理模糊的问题，提出一种融合小波变换和生成对抗策略的细节感知生成对抗网络模型。Charles K. Chui教授是小波分析领域的国际权威专家，王书强研究员课题组近几年一直致力于生成对抗模型优化研究。该模型采用分而治之策略进行多频并行超分重建，显著提升了模型对脑部磁共振影像中的生理组织结构细节的感知和恢复能力。该成果“Fine Perceptive GANs for Brain MR Image Super-Resolution in WaveletDomain”发表于《IEEE Transaction on Neural Network and Learning System》(IF=10.451)。论文第一作者是数字所研究生游森榕。

在临床上，受限于成像硬件、扫描时间和人力物力成本等因素，磁共振影像往往分辨率比较低，无法满足现代医学临床上精确分析和诊断的需求。通过图像计算的方式，从低分辨率磁共振影像重建出高分辨率磁共振影像受到了广泛关注。现有深度学习的磁共振超分辨率重建方法通过堆叠多层卷积网络，在一定程度上提升模型对高维非线性映射关系的拟合能力，达到更好的超分效果。但超分模型在学习过程中总是优先拟合贡献更大的总体成分，而后再慢慢学习、拟合影像中的纹理细节信息。这往往导致其对脑部磁共振影像中的细节纹理的感知和恢复不充分，最终超分结果模糊、平滑。

针对上述问题，团队提出一种融合小波变换和生成对抗网络的细节感知超分辨率模型（Fine Perceptive GeneratorAdversarial Network，FP-GANs），如图1所示。该模型基于分而治之的策略，融合小波变换和生成对抗网络，实现对脑部磁共振影像的低频成分和高频成分进行分频并行超分辨率重建。具体而言， FP-GANs 先利用小波变换将磁共振影像分解为低频全局轮廓和高频纹理细节，再利用 4 组生成对抗网络分别对各个纹理细节进行处理。通过专用的网络学习脑部磁共振影像中的各个纹理细节，避免了网络对影像中的高频纹理细节的忽略。还提出一种子带注意力机制进一步增强模型对细节纹理的感知性能。

                                                                                         

    

                       图1：细节感知生成对抗网络模型框架图

通过在MultiRes_7T 和 ADNI 数据集上的实验证明，相比于现有方法， FP-GANs 超分重建结果中的生理组织结构更加细致并且一致性更强（如图2所示）。同时，分类实验证明了超分影像有助于提高阿尔茨海默症诊断准确率（如图3所示），这也进一步证明了模型的临床应用价值。

                            图2：超分重建影像细节展示图

图3：在低分辨率影像和超分辨率影像上的分类性能对比

该研究工作得到国家自然科学基金、广东省杰出青年基金、深圳市科创委重点项目等科技项目资助。

原文链接：

https://ieeexplore.ieee.org/document/9729556