部署模型SDK至Jetson Xavier

1、概述

本文将参考前述的两篇文档来介绍如何将模型部署至Jetson设备：

1. 参考 使用EasyEdge模型转换获取边缘模型，获取Jetson模型。
2. 参考 可执行脚本类型进程应用，通过可执行脚本程序包+模型SDK方式完成模型SDK的边缘部署。

2、前提准备

2.1 安装进程模式边缘节点

参考文档：在linux上安装进程模式边缘节点

2.2 获取Jetson类型SDK

1. 点击离线计算SDK，进入模型SDK列表界面，下载Jetson模型至本地

2. 将Jeston模型上传至对象存储，此处使用百度BOS，并设置为公有访问，记录模型SDK下载URL。
3. 获取模型SDK的序列号。

3、在BIE上创建配置与应用

3.1 创建程序包

• 导入进程程序包-paddle-opensource-sdk-edge-serving.json，与 文档可执行脚本类型进程应用 当中创建的程序包是一样的。

3.2 创建模型文件配置项

• 导入模型配置项-easyedge-linux-m70035-b70035-jetson.zip.json
• 将模型SDK文件的HTTP URL替换成第2.2-2小节的URL。

3.3 创建进程应用

• 导入模型进程应用应用-easyedge-linux-m70035-b70035-jetson.json
• 将应用当中的模型序列号替换成第2.2-3小节的模型序列号。

3.4 特殊配置说明

1. 上述应用配置的环境变量说明如下：

   • PARAMS_SERIAL_NUM：模型SDK的序列号
   • PARAMS_PORT：服务暴露端口号，此处设置为8701
   • EDGE_SOC：声明模型部署应用SOC为jetson

2. 3.2小节和3.3小节注意替换成自身的模型SDK文件和模型序列号。

   • 如果上述模型SDK和模型序列号都不做替换，应用部署以后，在本地日志文件当中可以看到错误提示：序列号已被其他设备使用
   • 如果只替换序列号而不替换模型SDK文件，应用部署以后，在本地日志文件当中可以看到错误提示：序列号不能用于其他账号的模型

4、部署进程应用

进入进程应用easyedge-linux-m70035-b70035-jetson，设置目标节点，如下图所示：

5、验证边缘节点AI推断服务

通过浏览器打开在线推断服务：http://ip:8701，上传测试图片，推断结果如下，证明AI服务正常启动。