2023年11月6日,上海 —— 在近日举办的2023中国国际进口博览会上,英特尔与复旦大学附属中山医院携手联影、中国电信、百度共同发布《“无界”智能虚拟元诊室前沿洞察》,来自申挚医疗、熙牛医疗、元领域AI、MORE Health等多家元宇宙生态科技企业的产业伙伴亦见证了本次发布。英特尔致力于以其先进的计算机视觉、人工智能以及自由视角视频等技术,助力行业打造集数字化、产品化、人性化为一体的标杆性元宇宙医疗应用,将优质的区域化医疗资源与服务扩展至更广泛的地区,并为智慧医疗的繁荣发展提供助力。
复旦大学附属中山医院党委书记顾建英表示,“秉承将健康融入所有的理念,中山医院在政府的指导和支持下,携手产业界伙伴,打造如“智能虚拟元诊室”等智能化应用,以优化患者就医、治疗等诸多体验,致力于将优质医疗资源通过数字化、标准化、产品化的形式扩容,实现可复制式输出,以达到人民群众日益增长的对美好生活的需求。”
联影数字化业务总裁黄翔宇指出:“在复旦大学附属中山医院的牵头带领下,我们集合了来自英特尔等元宇宙生态伙伴的顶尖技术专家之力,深入研发高智能且低成本的元宇宙创新医疗应用以释放优质医疗资源,未来,我们亦真诚地希望能与广大合作伙伴继续携手,共同开辟医疗元宇宙更多应用场景,以高质量的医疗服务造福大众,打造未来医疗健康的最优解。”
英特尔(右二)联合生态伙伴共同发布《“无界”智能虚拟元诊室前沿洞察》
随着以数字孪生、云计算、物联网以及人工智能等为代表的新技术逐步融入智慧医疗体系的建设,元宇宙医疗创新相应萌发。作为元宇宙科技生态的重要一员,英特尔与中山医院、联影等技术合作伙伴于今年正式启动了“无界”智能虚拟元诊室项目。该项目秉持以患者和疾病为中心的核心理念,依托中山智慧医疗生态圈的数智化建设基础,旨在为行业提供“医疗知识数字化”和“诊疗能力产品化”的核心能力,同时结合元宇宙技术,在患者的诊前、诊中和诊后提供对远程患者的全周期诊疗帮助,优化医患沟通体验,并帮助患者提升自我保健能力。值得注意的是,基于相关法律法规及行业规范,该项目在落地过程中严格遵守伦理及人类遗传资源的管理规范,旨在安全合规地保障各地域患者医疗数据的分类分级、使用脱敏和隐私保护。
“无界”智能虚拟元诊室采用差异化设计以满足数字医疗场景中对于专业度与复杂度等的多样化需求。在手术方案沟通的增强智能方面,元诊室可提供虚拟现实诊疗空间及高度仿真的数字人物,其中,得益于英特尔计算机视觉、人工智能技术以及英特尔锐炫独立显卡强大的算力支持,该数字医生不仅拥有根据真实医生表情、肢体动作等构建的高精度人体外形,同时可通过实时跟踪以执行医生指令。同时,英特尔自由视角视频技术采用多相机阵列实时捕捉光场信息,并通过云端算法和头部追踪算法将三维场景以数据形式传输至用户端,从而实现超越传统视频通话的多视角视频交流体验。此外,得益于第十三代酷睿处理器及锐炫独立显卡等英特尔硬件支持,虚拟元诊室亦能帮助医生远程指导患者检查,并三维重建病灶、手术部位等信息,帮助医患双方直观、流畅地进行远程沟通,提升用户体验。而在问诊过程的辅助智能方面,英特尔优化的医疗领域大模型技术与知识图谱技术,以及拥有中山医院高水平专家知识的数字医生能够有效帮助基层医生完成针对疑难病症的相关诊断工作。
优质医疗资源的短缺及分布不均,是现阶段我国医疗环境所面临的挑战之一。虚拟元诊室作为推动医疗服务数字化转型、数字医学发展的重要抓手,能够有效打破区域局限,缓解供需失衡的困局。此次英特尔联合中山医院及多家生态合作伙伴发布的智能虚拟元诊室,以数字医生叠加在医疗领域大模型技术,显著提升诊疗效率并充分释放医疗资源,从而加速构建未来数字化、智能化的医疗健康世界。
好文章,需要你的鼓励
这项研究由浙江大学、复旦大学等机构联合完成,提出了ReVisual-R1模型,通过创新的三阶段训练方法显著提升了多模态大语言模型的推理能力。研究发现优化的纯文本冷启动训练、解决强化学习中的梯度停滞问题、以及分阶段训练策略是关键因素。ReVisual-R1在各类推理基准测试中超越了现有开源模型,甚至在某些任务上超过了商业模型,为多模态推理研究开辟了新途径。
这项研究提出了一种名为"批评式微调"的创新方法,证明仅使用一个问题的批评数据就能显著提升大语言模型的推理能力。研究团队对Qwen和Llama系列模型进行实验,发现这种方法在数学和逻辑推理任务上都取得了显著提升,平均提高15-16个百分点,而且只需要强化学习方法1/20的计算资源。这种简单高效的方法为释放预训练模型的潜在推理能力提供了新途径。
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。