“不用最昂贵的镜头，也能拍出高清照片”，近年来，面对人们快速增长的影像清晰度需求，众多手机、数码相机厂商不断探索如何在控制成本的情况下，使用AI模型进一步提升像素级。这一次，同样的技术理念，却被复旦大学计算机科学技术学院教授颜波带领的团队迁移到了生命科学实验室里的常用研究工具“荧光显微镜”上。
4月12日，科学期刊《自然-方法》（Nature Methods）以《基于广义荧光显微镜的图像恢复的预训练基础模型》（Pre-training a Foundation Model for Generalizable Fluorescence Microscopy-Based Image Restoration）为题刊发复旦大学计算机科学技术学院教授颜波团队成果。他们发明的跨任务、多维度图像增强基础AI模型（UniFMIR），实现了对现有荧光显微成像极限的突破。
来自复旦大学的这支AI for Science团队选择直击挑战，以“一站式集成”为目标，直接构建了首个“统一”的荧光显微镜图像增强AI基础模型（UniFMIR），大幅提升在“图像超分辨率重构、各向同性重构、3D去噪、图像投影和过程重建”五大任务方向上的性能。
UniFMIR采用了基于Swin Transformer结构的特征增强模块来增强特征表示，针对不同任务的网络流程共享相同的特征增强计算。通过收集的大规模数据集对模型进行预训练，并使用不同图像增强任务的数据微调模型参数，UniFMIR展现出比专有模型更好的增强性能和泛化性。
这意味着，加载了UniFMIR的荧光显微镜可能成为生命科学实验室中的“神器”。科学家们能更清晰地观察到活细胞内部的微小结构和复杂过程，加速全球生命科学、医学研究、疾病诊断相关领域的科学发现和医疗创新；同时，在半导体制造、新材料研发等领域，该成果可以用来提升观察和分析材料微观结构的质量，从而优化制造工艺和提高产品质量。
UniFMIR的成功研发标志着我国在关键科学仪器领域“国产设备+基础模型”的组合能有效减少对进口设备的依赖，增强国家科技自主性和产业安全，也为全球科研领域的进步贡献了中国智慧和力量。
“这次我们想到把AI 图像增强技术应用于荧光显微镜上，并构建UniFMIR，出发点就是AI for Science。我们的模型为荧光显微镜图像增强提供了一个通用的解决方案，通过简单的参数微调便可应用于不同任务、成像模式和生物结构。未来，生命科学实验室的科学家们可通过进一步扩展训练数据的数据量和丰富度来不断强化UniFMIR的图像重构能力。”颜波对UniFMIR被用于更多类型实验的可能性充满信心。
论文链接：
https://www.nature.com/articles/s41592-024-02244-3
