当我们感到皮肤不适时,仅需通过手机拍摄一张患处照片,很快就能得到可靠的诊断结果,实现皮肤病的自诊、预诊。在医院里,当医生忙不过来时,只需将患者皮肤图像上传到系统,即可获取可信的辅助诊断意见……
这是南开大学“皮肤健康卫士”项目团队首创性提出、基于移动端图像的皮肤病大规模可信综合辅助诊断系统:用户只需简单的通过移动端设备拍摄病例患处样本,图片经过动态加密后上传至系统,经过云端AI多算法共同决策,最终回传给用户可靠可信的综合诊断结果。

我国每年有近1.5亿人患有不同程度的皮肤病,门诊患者数量更是达到了3亿人次之多。但是,我国的皮肤科医生数量仅有两万余名,医患比例达到了惊人的1:7000。在皮肤病的诊断过程中,有两项挑战亟待解决:一是诊断必须依赖皮肤镜等专用设备,耗时长、费用高、效率低;二是常见皮肤病如痤疮、皮炎特征明显,患者通过一定诊断依据有望实现自诊和预诊。“皮肤健康卫士”团队解决了这两项核心挑战:自研全新的三套世界领先诊断算法和两个大规模数据集,基于皮肤科医生临床ABCD诊断法、多任务学习方法和基于极少样本罕见病的平衡自步学习方法,实现了面向皮肤病智能诊断应用场景的智慧医疗创新解决方案。用户只需使用移动端图像即可进行安全、可靠、可信的皮肤病诊断,提高了医疗机构的服务能力,减轻了其压力,为广大人民群众提供了皮肤健康保障。
由南开大学几位硕博学生组成的团队,依靠这一成果,拿下了2022年“互联网+”大学生创新创业大赛全国银奖。他们参加的是由华为提供的“基于昇思MindSpore的智慧医疗创新解决方案”产业赛道命题,在智慧医疗这个方向上,聚焦皮肤病的智能诊疗,实现了一个大规模可信辅助诊断系统。
题目要求使用昇思MindSpore AI框架,这是华为开源的全场景自主人工智能框架,适用于端、边、云多业务场景,具有开发友好、运行高效、部署灵活等诸多优点,通过动静态图的支持,加速AI开发灵活调测与执行;最重要的是,昇思强大的可信AI机制高度符合医疗数据隐私性的需求。
团队指导老师、天津市媒体计算技术工程研究中心副主任、南开大学计算机学院杨巨峰教授介绍说,项目为医生提供辅助诊断的建议,为病患提供自诊支撑。创新之处可以分为数据与算法两大部分,数据方面,高质量的移动端皮肤病图片数据为算法训练提供支持,我们在世界上首次提出了两个新的皮肤病移动端图像公开临床数据集,数据规模位居世界第一。算法方面,我们首先聚焦通用皮肤病诊断算法,并对常见皮肤病和罕见皮肤病分别设计了诊断算法,实现决策互补,提高准确率。算法原理来源于临床医学,使得最终的诊断结果可靠可信,值得医生信赖。
项目团队负责人、南开大学在读硕士研究生刘佳烜介绍说,“昇思具有简洁的API接口,特别是训练流程中的API清晰好用,还具有庞大的算法库作为支持,为我们项目的开发提供了极大的助力。除此之外,昇思也具有完善的生态环境和充满活力的社区氛围,开发者们都非常热情,乐于助人,不仅为我们的算法开发提供了帮助,更是让我们看到了国产深度学习框架的强大活力。”
在比赛过程中,项目遇到的最大难点是如何设计决策互补算法,综合考虑三个诊断算法的结果。刘佳烜认为,决策互补算法并不是简单的几行代码,需要兼顾算法性能与医学可解释性。基于这个问题,团队首先基于南开大学计算机视觉实验室在皮肤病智能诊断领域积累五年的深厚经验,在技术层面做了大量实验,对不同情况下的决策方式进行了分别设计,随后咨询了医院对接的合作团队,结合专业医学意见进行了第二轮调整,最终完成了完善的综合决策系统。
刘佳烜介绍说,他们计划继续深化与华为的全方位合作,与华为健康深度融合。“作为以‘爱国奋斗、公能日新’为价值追求的南开人,为国家和社会贡献新时代青年的力量!”
好文章,需要你的鼓励
谷歌发布新的AI学术搜索工具Scholar Labs,旨在回答详细研究问题。该工具使用AI识别查询中的主要话题和关系,目前仅对部分登录用户开放。与传统学术搜索不同,Scholar Labs不依赖引用次数或期刊影响因子等传统指标来筛选研究质量,而是通过分析文档全文、发表位置、作者信息及引用频次来排序。科学界对这种忽略传统质量评估方式的新方法持谨慎态度,认为研究者仍需保持对文献质量的最终判断权。
Meta公司FAIR实验室与UCLA合作开发了名为HoneyBee的超大规模视觉推理数据集,包含250万训练样本。研究揭示了构建高质量AI视觉推理训练数据的系统方法,发现数据质量比数量更重要,最佳数据源比最差数据源性能提升11.4%。关键创新包括"图片说明书"技术和文字-图片混合训练法,分别提升3.3%和7.5%准确率。HoneyBee训练的AI在多项测试中显著超越同规模模型,同时降低73%推理成本。
Meta发布第三代SAM(分割一切模型)系列AI模型,专注于视觉智能而非语言处理。该模型擅长物体检测,能够精确识别图像和视频中的特定对象。SAM 3在海量图像视频数据集上训练,可通过点击或文本描述准确标识目标物体。Meta将其应用于Instagram编辑工具和Facebook市场功能改进。在野生动物保护方面,SAM 3与保护组织合作分析超万台摄像头捕获的动物视频,成功识别百余种物种,为生态研究提供重要技术支持。
上海AI实验室团队提出ViCO训练策略,让多模态大语言模型能够根据图像语义复杂度智能分配计算资源。通过两阶段训练和视觉路由器,该方法在压缩50%视觉词汇的同时保持99.6%性能,推理速度提升近一倍,为AI效率优化提供了新思路。