1研究背景
在材料科学研究中，精确描述材料微结构对于探索材料成分与性能之间的关系至关重要。传统上，材料微结构的分析高度依赖专家经验，即使采用机器学习/深度学习方法，也需要大量专家标注进行训练，且训练后的模型泛化能力弱、对新图像识别效果差。随着自动化表征设备和实验机器人的发展，需要分析的微结构图像呈指数增长，因此开发标准化、高精度且鲁棒的微结构信息提取模型成为迫切需求。
2成果简介
在这项研究中，研究人员提出了一种名为MatSAM（Materials Segment Anything Model）的无训练方法，用于基于视觉大模型（VLM）高效提取材料微结构。该方法通过结合区域标记和显微镜适应点，开发了一种自动化的点提示策略，以实现准确高效的材料微结构识别。MatSAM无需任何人工标注，精确识别了11种通过不同表征方法获得的金属材料微结构。与最优的传统规则方法相比，MatSAM在结合调整兰德指数（ARI）和交并比（IoU）的指标上平均相对提高了35.4%，优于原始SAM模型平均13.9%。在四个公共微结构分割数据集上，MatSAM的IoU平均比需要标注的专业深度模型提高了7.5%。同时，MatSAM满足了单个模型对不同微结构（如晶界、相和缺陷）的泛化能力，显著降低了定量表征材料微结构的人力和计算成本，加速了先进材料的发展。
3图文导读
图1：本研究中使用的显微镜数据集。展示了不同金属材料的显微图像示例，包括材料名称、数据集名称、微结构类型以及显微图像的实际尺寸和分辨率。根据结构特征，材料被分为多晶&单相、多晶&多相和单晶&多相三类，分别以蓝色、绿色和浅黄色背景表示。显微图像通过光学显微镜（OM）、扫描电子显微镜（SEM）或X射线计算机断层扫描（XCT）获取，所有内部数据集都有人工标注。图2：多晶和多相显微图像之间视觉差异的图示。多晶图像中，晶粒紧密排列，边界分隔相邻晶粒且无间隙；多相图像中，相区域之间通常存在间隙，分散在整个图像中。图3：MatSAM用于无训练微结构识别的示意图。展示了MatSAM基于SAM模型的架构，包括图像编码器、提示编码器和分割掩码解码器，以及如何通过自动化结构感知提示策略实现无训练的微结构识别。图4：MatSAM和基于规则的方法在多晶显微图像上的视觉结果对比。展示了不同多晶材料图像在使用MatSAM和传统方法（如Canny、OTSU、Watershed）进行分割后的效果，突出了MatSAM在识别复杂多晶结构方面的优势。
4小结
MatSAM作为一种无训练的材料微结构提取方法，通过自动化结构感知提示策略显著提高了识别的准确性和效率。它无需人工标注即可精确识别多种材料微结构，且在不同材料和显微结构上具有良好的泛化能力。MatSAM的出现为材料科学研究提供了一种强大的工具，能够显著降低定量表征材料微结构的人力和计算成本，加速先进材料的发展。然而，MatSAM在处理高噪声小尺度图像和复杂语义图像时仍存在局限性，未来的研究可以进一步优化提示策略和模型架构，以提高其在这些挑战性场景下的性能
文献：
https://doi.org/10.1016/j.actamat.2025.120962
