Jetson百万开发者故事 | NVIDIA Jetson如何成为可移动智能脑机交互平台

脑机交互技术是探索大脑功能，治疗大脑疾病的重要手段，目前已经被广泛应用于脑信息解码、脑控、脑疾病生物标记物检测、脑功能监测及脑疾病干预等多个方面。为了推动脑机交互技术的智能化发展，为脑科学研究及脑疾病诊治提供新技术，复旦大学类脑人工智能科学与技术研究院副院长王守岩教授团队开创性地应用 NVIDIA Jetson 边缘计算平台，打造了可移动智能脑机交互平台，并应用该平台进行了一系列脑疾病相关的科学及转化研究。

王守岩教授和他的课题组团队

NVIDIA Jetson 软硬件赋能

脑机交互技术如虎添翼

为了满足脑机交互技术的智能化需求，平台负责人李岩博士将目光放在了 NVIDIA Jetson Nano 身上。“我们要打造的是一个具备可移动、高实时性、易拓展的智能脑机交互平台，NVIDIA Jetson Nano 套件在硬件及软件支持上都是非常合适的选择。”李岩博士说。

很快，团队就利用 NVIDIA Jetson Nano 套件构建了一个原型机，其核心结构主要包含三个模块：Jetson Nano Kit、有线电生理信号采集模块以及有线电刺激模块。模块与模块之间通过有线连接的方式集成，在系统响应层面能够实现毫秒级别的实时性。

脑机平台的原型

整个原型机以 NVIDIA Jetson Nano 边缘计算芯片为计算核心，基于 L4T 系统搭建了实时处理的软件框架，该框架具备应用 NVIDIA 加速神经网络推理工具的能力，例如 TensorRT。

除了支持深度学习通用框架的编码和模型加速能力外, Jetson Nano 平台还包含了丰富的外设接口，包括 SPI、UART、USB 等，非常适合控制多种不同类型的外设，结合不同的外设，使得该原型机能够拓展控制更多的外部设备，从而使得平台具备多维信号感知和刺激能力。目前，该平台支持多通道的人体电生理信号（脑电、心电、肌电）、运动信号（旋转角、加速度、转速）及姿势（视频监测）的多维度信息采集能力，具备高速在线数字信号处理及推理人工智能模型的计算能力，以及控制声光电设备对人体进行刺激的治疗能力。

“由于可以便捷地利用 NVIDIA Jetson 的软硬件资源，我们的平台能够快速兼容新的信号感知和刺激输出硬件，使得平台的应用拓展更加顺利，进一步推动平台的应用转化。”平台软件框架负责人聂英男博士说道。

智能脑机交互平台初显锋芒

为帕金森病的诊断、监护和治疗提供帮助

随着我国社会老龄化程度的加深，与年龄密切相关的脑疾病患者呈上升趋势，而帕金森病就是一种常见的神经系统变性疾病，在老年人群中多发。该疾病在全人群中的患病率约为 0.3%，但患病率有会随年龄的增高而增加的趋势，在 65 岁以上的老年人群中，帕金森病的患病率为 1-2%，而在 85 岁以上人群其患病率增加到了 3-5%。

“帕金森病首发症状通常是一侧肢体的震颤或活动笨拙，进而累及对侧肢体。临床上主要表现为静止性震颤、运动迟缓、肌强直和姿势步态障碍。患者往往需要忍受极大的生理和心理上的痛苦。”李岩博士介绍说，“对帕金森病运动症状的量化评估、监护及新疗法研究，会在改善病人生活质量和缓解社会压力方面发挥巨大的作用。”

目前，智能脑机交互的原型机可以实现运动行为记录、基于脑电信号的注意力分析、基于肌电信号的运动姿态判别、模拟神经振荡信号分类任务，以及基于帕金森大鼠深部脑电信号的闭环神经治疗任务。

在日常监护方面，平台通过视频和运动传感，分析病人在生活中的异常姿势状态，在可能出现的危害人身安全的情境下进行报警或联系病人家属等操作，尽可能保护病人的正常生活，避免疾病带来的进一步损伤。

在新疗法研究方面，平台通过实时分析病人的脑电信号，在特定的疾病相关的信号特征出现后给予电刺激治疗，形成一种闭环的治疗方式。“大脑深部脑电信号中的神经振荡活动是反应帕金森病的重要标记物，我们模拟了 beta（13-30Hz）振荡信号的状态分类任务，” 李岩博士介绍：“为了保证分类的实时性，我们使用了 NVIDIA TensorRT 加速了 CNN 网络，速度提升了 6 倍左右。”

与 NVIDIA Jetson 系列共同成长

随着云计算、网络通信以及智能终端的发展，智能边缘计算平台必将融入到这种新型模式下，实现长时间的大数据分析、个性化建模、病程预测、干预等任务，以更好的计算效率、体系化的数据处理以保证高精度、高效率的个性化建模及预测。

“我们很高兴成为 NVIDIA Jetson 百万开发者的一员，非常感谢 NVIDIA 人工智能中心、中国教育领域合作团队持续的有力支持，使得我们有可能将前沿技术转化应用到脑科学研究中，未来我们将集成更强大的 Jetson 计算核心，目前已经在 Jetson AGX Orin 上进行整体软件框架的调试。我们希望平台可以面向更多的脑功能探索和脑疾病展开应用，服务于神经科学家、临床医生，为脑疾病特别是老龄化相关的脑疾病的监护、评估和治疗发展提供助力！”王守岩教授说。

王守岩教授在“脑科学与类脑研究”重大项目、科技部国家重点研发计划、上海市科技重大专项等国家和上海市科研项目的支持下，带领人工智能算法、智能电子、临床神经生理等科学家团队加速推动以人工智能算法、移动边缘计算为核心的脑机交互神经调控技术在临床的转化应用。

像王守岩教授及团队一样的开发者朋友们可以免费报名参加 GTC 的 Jetson 边缘 AI 开发者日活动。NVIDIA 专家将在活动上介绍最新的 Jetson 硬件、软件和合作伙伴。内容包括：

• 使用 NVIDIA Jetson 软件加速边缘 AI 的开发

（https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675122992275001FUuE）

• 使用 NVIDIA Jetson Orin 平台提升边缘 AI 和机器人技术水平

（https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1668040615028001N01j）

• 使用 NVIDIA Nsight 开发者工具充分发挥 Jetson Orin 的作用

（https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675124636163001GyIr）

• 使用 NVIDIA Jetson 生态系统加快产品上市速度

（https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675125146374001Sj7X）

另外，GTC 期间更有一场以 Jetson 平台为主题的专家交流分会，届时参加者可以与 NVIDIA 嵌入式平台工程师开展深度问答。这场互动交流会提供了一个独家机会，让您可以团队或个人形式与 NVIDIA 产品幕后人员见面，答疑解惑。活动席位有限，先到先得。

复制链接粘贴至浏览器进行注册：

https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1670472065129001rf2z

如果您想要更加深入地了解如何利用 NVIDIA 技术助力医疗健康领域，也欢迎加入 GTC23 医疗健康与生命科学精选会议：

https://www.nvidia.cn/gtc-global/sessions/healthcare-life-sciences/?ncid=so-wech-481805

  //  

Jetson “百万开发者”有奖征集活动正在火热进行中。作为 Jetson “百万开发者”的一员，感谢您陪伴 Jetson 走过的开发之路。无论是企业、工程师、发烧友还是学生，我们相信每一位开发者都和 Jetson 有着不一样的故事。快来参与有奖征集活动，说出您与 Jetson 的故事，无论是开发创造的经典案例，还是学习构建的心得体验，都欢迎您畅所欲言，更有惊喜好礼等您拿！