这些年,医疗人工智能迎来快速发展,影像AI、新药研发AI、机器人AI、智慧医院等细分场景不断涌现。AI加速的医疗服务可以推动人体生理学、所有疾病,甚至医院运营等方方面面的相关工作。
在RSNA大会上,NVIDIA分享了助力构建AI医学影像生态系统的实践。其中,MONAI是一个采用NVIDIA技术加速的开源医学影像AI框架,其下载量目前已超65万次。借助MONAI应用包(MAP),MONAI就能更轻松地将模型集成到临床工作流中。
将医学影像AI部署到MAP
当前,医院如果想要在影像部门部署几个AI模型来帮助专家识别十几种不同的病症或实现医学影像报告的半自动化创建,需要耗费大量时间和资源来为每个模型寻求合适的硬件和软件基础设施。
MAP通过MONAI Deploy提供,其作为一种AI模型的打包方式,能够更轻松地在现有医疗生态系统中进行部署。
MAP规格由MONAI Deploy工作组制定。该工作组由来自十几家医学影像机构的专家组成,目标是支持AI应用开发者以及运行AI应用的临床和基础设施平台。
如果开发者使用MONAI Deploy应用软件开发工具包来打包一个应用,医院就可以轻松地在本地或云端运行这一应用。MAP规格还整合了医疗IT标准,比如医学影像互操作性标准DICOM等。
对于开发者来说,MAP可以帮助研究者在临床环境中轻松打包和测试模型,从而加速AI模型的演进。这使他们能够采集真实世界的反馈,进而对AI进行完善和改进。
对于云服务商来说,对(使用云原生技术设计的) MAP的支持能够助力采用MONAI Deploy的研究者和企业通过容器或原生应用集成,在自己的平台上运行AI应用。整合MONAI Deploy和MAP的云平台包括:
Amazon HealthLake Imaging:MAP接口已被整合进HealthLake影像服务,使临床医生能够实时查看、处理和分割医学影像。
Google Cloud:Google Cloud的医学影像套件使医学影像数据变得更易于获取、更具互操作性且更加实用。该套件已将MONAI整合到其平台中,使临床医生能够部署AI辅助注释工具,助力实现人工和重复性医学影像标记任务的自动化。
Microsoft Azure驱动的Nuance精准成像网络:Nuance和NVIDIA最近宣布展开合作,将MONAI和Nuance精准成像网络相结合。Nuance精准成像网络是一个为12000多家医疗机构提供AI工具和洞察的云平台。
Oracle Cloud Infrastructure:Oracle和NVIDIA最近宣布展开合作,将包括MONAI Deploy在内的医疗行业加速计算解决方案引入Oracle Cloud Infrastructure。即日起,开发者可使用Oracle Cloud Marketplace上的NVIDIA容器,通过MONAI Deploy来构建MAP。
MONAI Deploy得到医院和医疗初创企业的采用
世界各地的医疗机构、学术医疗中心和AI软件开发商正在采用MONAI Deploy,包括:
辛辛那提儿童医院:该学术医疗中心正在为一个能够在CT影像中自动分割整体心脏容积的AI模型创建MAP,进而通过美国国立卫生研究院资助的一个项目,为小儿心脏移植患者提供援助。
英国国家医疗服务体系(NHS):NHS信托基金已在四家医院部署了基于MONAI的AI部署引擎平台——AIDE(AI Deployment Engine),致力于为专业医务人员提供AI疾病检测工具。这些医务人员每年为500万名患者提供服务。
AIDE的全称是 AI Deployment Engine,即 “AI部署引擎” ,预计将于明年推广到11家NHS医院,届时将为1800万患者提供服务,为临床医生提供AI功能。AIDE基于MONAI构建。MONAI是由NVIDIA和AI Centre共同开发的开源医学影像AI框架,可用于对接AI应用与医院系统。
通过MONAI和AIDE的结合,就能对医学影像AI模型进行安全且有效的验证、部署与评估。这些模型将被NHS用于诊断和治疗癌症、脑卒中、失智症等疾病。目前,盖伊和圣托马斯医院、国王学院医院、东肯特医院大学和伦敦大学学院医院NHS信托基金等机构正在部署该平台。
Qure.ai:NVIDIA初创加速计划成员Qure.ai开发了用于肺癌、脑外伤和肺结核等用例的医学影像AI模型。该公司正在使用MAP来打包需要部署的解决方案,推动这些解决方案更快速地在临床发挥影响力。
SimBioSys:这家位于芝加哥的NVIDIA初创加速计划成员企业建立了患者肿瘤的3D虚拟表征,并将MAP用于有助预测患者对特定治疗会作何反应的精准医疗AI应用。
加州大学旧金山分校:加州大学旧金山分校正在为几个AI模型开发MAP,包括髋部骨折检测、肝脏和脑肿瘤分割、膝关节和乳腺癌分类等应用。
结语
2019年推出的MONAI降低了从研发到临床医疗工作流的复杂性。借助MONAI,开发者能够轻松构建和部署AI应用,创建出可用于临床整合的模型,并更轻松地解读医学检查结果,更深入地了解患者病情。
随着AI技术在医疗行业的普及落地,MONAI提供专为医学影像优化的深度学习基础设施和工作流,能够充分发挥医学影像数据的作用和潜力,简化AI模型的构建流程。
好文章,需要你的鼓励
Liquid AI发布了新一代视觉语言基础模型LFM2-VL,专为智能手机、笔记本电脑和嵌入式系统等设备高效部署而设计。该模型基于独特的LIV系统架构,GPU推理速度比同类模型快2倍,同时保持竞争性能。提供450M和1.6B两个版本,支持512×512原生分辨率图像处理,采用模块化架构结合语言模型和视觉编码器。模型已在Hugging Face平台开源发布。
AIM Intelligence联合多所知名大学揭示了音频AI系统的重大安全漏洞,开发出名为WhisperInject的攻击方法。这种攻击能让看似无害的音频指令操控AI生成危险内容,成功率超过86%,完全绕过现有安全机制。研究暴露了多模态AI系统的系统性安全风险,对全球数十亿智能设备构成潜在威胁。
阿里团队推出首个AI物理推理综合测试平台DeepPHY,通过六个物理环境全面评估视觉语言模型的物理推理能力。研究发现即使最先进的AI模型在物理预测和控制方面仍远落后于人类,揭示了描述性知识与程序性控制间的根本脱节,为AI技术发展指明了重要方向。
新加坡国立大学研究团队系统梳理了视觉强化学习领域的最新进展,涵盖超过200项代表性工作。研究将该领域归纳为四大方向:多模态大语言模型、视觉生成、统一模型框架和视觉-语言-动作模型,分析了从RLHF到可验证奖励范式的政策优化策略演进,并识别出样本效率、泛化能力和安全部署等关键挑战,为这一快速发展的交叉学科提供了完整的技术地图。