Jetson百万开发者故事 | 基于Jetson Nano的便携式岩石分类检测系统：地质学家的新利器

岩石的探测和识别在地质勘探中是非常重要的环节。那些曾经冒险探险的地质学家们不畏艰辛，深入山林探索未知的地区，收集岩石样本进行分析，为我们更好地认识地球的内部构造作出了巨大的贡献。然而传统的检测算法过分依赖于复杂的特征工程和地质学专业知识，无法满足现代检测的要求。近年来，基于深度学习的算法在目标检测、图像处理和识别等方面取得了重大突破，因此，基于深度学习理论的岩石分类检测系统的研发是必要的。另一方面，使用传统检测方法也会导致检测仪器不够小巧和便捷，有较强的环境局限性，于是，来自湖北工程学院数学与统计学院的学生团队，在导师张天凡的带领下，决定设计一款适合野外作业的便携式岩石分类检测系统。

张天凡老师和他的学生团队

首先，这个系统必须具备高度的便携性和稳定性，以适应地质领域的工作性质，同时实现离线检测功能，解决环境局限性问题，使野外作业人员在通讯信号差的地方依靠离线知识库实现快速、准确的检测。同时，该系统还会具有自动识别岩石种类的能力，让非专业人员也可以使用，辅助专业人员可以更为准确地做出判定。

团队很快搭建出了原型方案。此装置拟实现的功能与所具特色：一是便携，采用 10.1 寸（265×170）的可触摸电容显示屏，方便野外作业人员携带和操作，减少了外设和负重；二是离线检测，以 Jetson Nano 高性能低功耗嵌入式设备为载体实现离线检测；三是自动识别岩石种类，在后方实验室训练完成的模型可由 NVIDIA TAO 工具套件动态部署到 Jetson Nano 边缘设备，使其能够不断更新自动识别岩石的算法。

图一 原型机实现功能的总体流程

为了满足“小型-便携”这一基本设计需求，团队成员经过多次修改，最终确定了原型机的硬件设计，即将 NVIDIA Jetson Nano、显示器驱动板、电源和图像传感器进行集成，利用 3D 打印机，制作出了原型产品。

图二 原型机的正面

岩石分类检测系统基于 EffinicentV2 模型，团队使用了 NVIDIA TAO 工具套件中的模型训练工具来训练 EfficientV2 模型，并使用模型转换工具将训练好的模型转换为 TensorRT 格式，以便于在 Jetson Nano 边缘设备上部署和加速推理。此外，团队还使用了 NVIDIA TAO 工具套件中的数据增强工具来增强数据集，以提高模型的鲁棒性和泛化能力。通过不断调整参数和数据集，最后的推理评价为：总体正确率达到 94.36%。

模型训练完成，部署在配置微型摄像头的 NVIDIA  Jetson Nano 上，使用可触摸屏幕与其连接。系统通过摄像头获取需要分析的图像数据，获取后将其输送到系统内部，用户通过 UI 界面与岩石分类模型进行交互，数据被传输给岩石分类模型，模型使用图像处理与识别技术进行识别与分析，最后以图表形式显示岩石分类结果。

图三 原型机的系统启动展示

图四 原型机的系统分析结果展示

“NVIDIA Jetson Nano 灵活的软件和完整的框架支持，以及较高的内存容量和统一的内存子系统，使其能够同时运行各种不同的网络，达到全高清分辨率，可以让学生们在短时间内尝试各种 AI 模型，并且完成一个 AI 原型产品，高效地锻炼了学生们的 AI 场景落地能力。”张天凡老师评价说：“在 AI 技术不断发展的时代背景下，能让学生们迎头赶上技术发展的大趋势是很重要的！”

*本文中图片均由湖北工程学院数学与统计学院张天凡老师团队提供，如果您有任何疑问或需要使用本文中图片，请联系该团队。