在开始使用TAO模型训练工具之前,我们必须先对其操作原理有个基础的理解,因为这套工具能支持30多种神经网络的深度学习,并且横跨视觉类与对话类两种不同领域,究竟是如何做到的?
前面介绍的内容中提过,在TAO工具使用两个不同的Docker容器,去面对视觉类与对话类的模型训练,分别是基于Tensorflow与PyTorch框架。
不过英伟达将复杂的调用工作进行高度的抽象化处理,以启动器CLI指令作为统一的执行接口,并且为每个神经网络提供对应的配置文件组,透过指令集与配置文件的组合,将操作的逻辑变得非常简单,开发人员只要熟悉这套指令集,就能非常轻松地驾驭所有TAO支持的神经网络,进行高效率的模型训练任务。
因此在操作TAO工具之前,首先得对CLI指令集与配置文件有个初步的了解。
这个指令集的语法非常简单,主要是下面三部分所组成:
tao <task> <sub-task> <args>
上面所有的信息,可以用tao info --verbose指令,查询到不容版本容器所支持的神经网络类型。
当我们单纯执行tao <task>的时候,就会进入对应的容器里,例如:
以下6种指令是所有模型都具备的功能:
到这里应该能够感受到这个CLI指令集的便利之处,开发人员只要好好记住这组指令,不需要撰写任何C++或Python代码,甚至不需要了解任何一个神经网络的结构与算法,就能非常轻松地面对这么多种复杂的模型训练任务。
这里需要透过TAO提供的范例来说明配置文件的细节,这里以视觉类的范例为主,请执行下列指令下载范例文件:
$ $
$ $ |
wget --content-disposition https://api.ngc.nvidia.com/v2/resources/nvidia/tao/cv_samples/versions/v1.3.0/zip -O cv_samples_v1.3.0.zip unzip -u cv_samples_v1.3.0.zip -d ./cv_samples_v1.3.0 rm -rf cv_samples_v1.3.0.zip && cd ./cv_samples_v1.3.0 |
在cv_samples_v1.3.0文件夹里有20+个子目录,每个子文件夹就对应一个神经网络,下面都有个别的specs子目录,里面就存放对应的配置文件。
每个项目应该是由不同的技术人员所处理,在文件格式与命名方式也不尽相同,大部分是.txt纯文件格式,有些则使用.yaml或.json格式,因此需要针对个别项目,去深入了解每个配置文件里的各项参数。
下面是TAO视觉类模型训练工具的工作流图,每个项目里的配置文件,都是为不同阶段的任务提供所需要的参数。
这里以英伟达发展的detectnet_v2神经网络作为范例,里面的配置文件内容比较完整,包括以下7个文件:
这些文件是配合整个执行流程的步骤:
这里的参数设定,是整个TAO训练模型过程中技术含量最高的环节,我们所能修改的部分大概就是“training_config”组里的”batch_size_per_gpu”与“num_epochs”这两个参数,以及确认“dataset_config”组里的每一个“target_class_mapping”对应是否正确。
其他参数的调整是需要对个别神经网络的结构预与算法有足够了解,如果没有把握的话,建议就使用英伟达已经优化过的参数。
后面的推理验证与导出模型的步骤,留在实际项目执行的时候再做说明。到此应该能清楚,在TAO模型训练阶段,需要的就是xxx_tfrecords_xxx.txt、xxx_train_xxx.txt与xxx_retrain_xxx.txt这三个配置文件,后面两个文件的内容几乎一样,只有调用的预训练模型不一样,这样就能让事情变得更加单纯。
整个TAO训练工具的内容,主要就是围绕着CLI指令集与配置文件的组合处理,如此一来,开发人员只要掌握这两个部分,就能轻松驾驭大部分的模型训练任务【完】
好文章,需要你的鼓励
MinIO正在其对象存储与生成式AI之间构建连接层,涉及采用Iceberg表格的结构化形式。联合创始人兼联席CEO AB Periasamy表示,生成式AI推动了企业数据基础设施需求,直接促进公司增长。MinIO员工数量已达160多人,并积极扩展市场业务。公司正致力于解决大规模结构化数据与大语言模型之间的桥接问题,特别是如何让LLM理解Iceberg表格等结构化数据。
ByteDance团队开发的GR-3是一个革命性的视觉-语言-动作模型,让机器人能够像人类一样理解指令并灵活操作。它通过多模态数据联合训练获得了强大的泛化能力,能处理未见过的物品和环境,还能从少量人类演示中快速学习。在三个挑战性任务上全面超越现有基准,展现了迈向通用机器人助手的巨大潜力。
本文详细解析2025年笔记本处理器市场格局,涵盖Intel、AMD、高通和苹果四大厂商的最新CPU产品线。苹果M系列芯片凭借出色的性能和续航表现位居榜首,Windows平台推荐高通骽龙X系列处理器。文章深入对比x86与Arm架构差异,分析各品牌处理器的核心数量、线程、时钟频率等关键参数,并详细介绍集成显卡、AI加速器NPU等技术发展,为用户选择合适的笔记本电脑提供全面参考。
上海人工智能实验室联合多家机构提出SeC视频分割技术,通过大型视觉语言模型构建物体概念表示,突破传统像素匹配局限。该技术在复杂场景变化中表现卓越,比SAM 2.1平均提升11.8分,并构建了专门的SeCVOS测试集验证效果,为视频编辑、自动驾驶等应用带来新突破。