病理学是医学的重要组成部分，用于通过组织和细胞样本来诊断疾病。然而，缺乏公开可用的标注医学图像一直是计算研究和教育创新的重要障碍。最近，西安交通大学2011级校友电气信息专业校友黄治为第一作者在斯坦福大学的团队发布了一个基于视觉和语言的病理学AI大模型。这一突破性研究成果得到了社会各界广泛的关注，并引领了医学诊断与知识共享的新方向。
黄治，2011-2015年就读西安交通大学电气信息专业，获学士学位。现为斯坦福大学博士后。
模型开发团队收集了大量的来自社交网络（如推特Twitter）的高质量医学图像文本配对，包括多种癌症、感染性疾病、自身免疫疾病等多种病理类型的样本数据，构建了一个名为OpenPath的大型病理数据集。这些数据是根据美国和加拿大病理学会（USCAP）在2016年提出的医学Twitter标签，并经过严格筛选从Twitter和其他社交媒体平台上选出的。整个数据集涵盖了超过20万张高质量的病理图像，每张图像都配有详细的自然语言注释。
研究团队采用先进的数据预处理和增强技术，并基于OpenAI 的CLIP模型和对比学习方式，实现了数据的高质量收集和训练模型的高准确性。该模型名为PLIP（病理语言-图像预训练模型）。这个多模态AI模型在对四个外部数据集进行新病理图像分类时表现出色。同时，该模型能够让用户通过图像或自然语言来检索相似的病例，从而极大地促进了医学知识的共享。这不仅能够潜在地帮助医生更快、更准确地诊断疾病，还有望减轻医务人员的工作压力，为患者提供更个性化的治疗方案。
该成果以《通过医学Twitter 进行病理图像分析的视觉语言大模型》（A visual–language foundation model for pathology image analysis using medical twitter）为题在医学顶级刊物《自然·医学》（Nature Medicine，2023年影响因子82.9）发表。该成果同时被Nature Medicine选为2023年9月封面文章。
文章链接：https://www.nature.com/articles/s41591-023-02504-3