前面安装Jetson Orin开发套件的开发环境过程,并没有将DeepStream智能分析套件安装进去,因此需要独立的安装过程,这里提供三种安装方式给使用者参考。
请访问https://developer.nvidia.com/deepstream-getting-started ,进入后会看到如下图的DeepStream SDK 6.1版本说明:
右表所列的是对于系统的要求,在Jetson的部分必须是JetPack 5.0.1 DP版本以上,Jetson Orin开发套件刚好符合这个要求,因此可以安装这个6.1版本的DeepStream。
页面往下会看到如下图的“Downloads”部分:
点选左下角“I Agree To…”左边的框,就会跳出下图的选项:
这里推荐下载“Download .tar”压缩包的方式会比较简单。点击后会弹出下面画面:
这是要求使用者必须拥有NVIDIA开发者社区账号,如果没有的话就申请一个,至于申请与登录的步骤,这里就不多赘述了。
将压缩包下载至Jetson Orin开发套件之后,请在Jetson Orin上执行以下步骤:
$
$ |
# 安装依赖库 sudo apt install -y libssl1.0.0 libgstreamer1.0-0 gstreamer1.0-tools gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav libgstrtspserver-1.0-0 libjansson4=2.11-1 libgstreamer-plugins-base1.0-dev libgstreamer1.0-dev libgstrtspserver-1.0-dev libx11-dev # 重新安装nvidia-l4t的相关库 sudo apt install --reinstall -y nvidia-l4t-gstreamer nvidia-l4t-multimedia nvidia-l4t-core |
现在请到前面下载的deepstream_sdk_v6.1.0_jetson.tbz2的位置,执行以下指令开始安装DeepStream开发工具:
$ $ $ |
sudo tar -xvf deepstream_sdk_v6.1.0_jetson.tbz2 -C / cd /opt/nvidia/deepstream/deepstream sudo ./install.sh && sudo ldconfig |
接下来执行下面指令,检验DeepStream的安装是否成功:
$ |
deepstream-app --version-all |
第一次执行会出现一些警告(warning)信息,再执行一次就会正常出现下图信息:
这样就表示安装完成了。
这种安装需要有一台装有Ubuntu或CentOS的x86电脑来辅助,相对繁琐一些。这个工具可以在https://developer.nvidia.com/nvidia-sdk-manager下载,直接使用dpkg进行安装就可以,然后开启SDK Manager进行安装。
这种方式比较麻烦的部分是SDK Mananger的登录步骤(如下图),与前一种方式同样需要有NVIDIA开发者社区的账号与密码,如果没有也得申请一个。但是后台验证步骤需要连上NVIDIA的服务器,因此有时需要重复多次才能成功。
登录成功之后进入“STEP 1”选择安装的内容,请勾选下图最下方“DeepStream”选项,然后点选“CONTINUE”进入下一步。
在“STEP 2”里最重要的,就是“取消Jetson OS”选项,如下图所示,因为我们只需要安装DeepStream,而不需要安装操作系统。
选择好之后,勾选最下方“I accept the terms…”选项,就能进入下个步骤。系统弹出下图对话框,这里有两种连线的选择方式:
选择好之后,如果是USB方式则下面的IP预设为192.168.55.1,如果是Ethernet的话则需要自行查清楚Jetson Orin的IP地址。然后输入Jetson Orin的Username与Password,再点击下方“Install”按钮,就能执行DeepStream的安装。
这是当下最热门的应用与部署技术,从JetPack 4.0版之后,都为Jetson设备安装好Docker基础环境,我们可以直接使用。
DeepStream从5.1开始提供Docker版的使用环境,只需要从NGC下载镜像后就能在Jetson设备上启动使用,不过使用过程需要先熟悉Docker的指令与设备对应关系,这里先教大家在Jetson Orin开发套件上安装Docker版的DeepStream套件。
登录https://catalog.ngc.nvidia.com/orgs/nvidia/containers/deepstream-l4t 会进到下图页面中,点击右上角“Pull Tag”下拉选项就会显示目前所支持的各种版本。
Jetson Orin开发套件支持的Jetpack 5.x版本,目前只支持DeepStream 6.1,因此我们需要点击选择下数第二个“6.1-base”,系统已经将下载指令“docker pull nvcr.io/nvidia/deepstream-l4t:6.1-base”复制到剪贴板里面,我们只要在命令行视窗上使用Ctrl-Shift-V组合键,就能完整粘贴的指令:
$ |
docker pull nvcr.io/nvidia/deepstream-l4t:6.1-base |
这样就能从NGC下载deepstream-l4t:6.1-base镜像到Jetson Orin开发套件上。至于使用的方式,主要启动指令如下:
$
$ |
# 允许外部应用程序连接到主机的X显示器: xhost + # 允许外部应用程序连接到主机的X显示器: sudo docker run -it --rm --net=host --runtime nvidia -e DISPLAY=$DISPLAY \ -w /opt/nvidia/deepstream/deepstream-6.1 -v /tmp/.X11-unix/:/tmp/.X11-unix \ nvcr.io/nvidia/deepstream-l4t:6.1-base |
如果要添加摄像头的话,需要在这个指令里添加以下内容:
这样就可以开始使用DeepStream 6.1来进行测试与开发了。
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。