通用CPU模型部署-容器模式

更新时间：2025-08-21

本教程说明如何将EasyEdge生成的AI模型通过BIE部署至边缘节点并运行。

一、上传AI模型至对象存储

获取模型模型，一般经过百度模型转换以后输出的模型文件及结构如下：

在得到AI模型以后，需要将AI模型上传到对象存储当中，BIE支持从以下对象存储当中获取模型文件：

Baidu BOS
S3标准的对象存储，例如AWS S3，CEPH，Minio，华为OBS

模型上传Baidu BOS

如果使用的是Baidu BOS，操作步骤如下：

创建bucket：bucket-demo-01
在bucket当中创建目录：easyedge
将模型文件上传到easyedge目录下，如下图所示：

模型上传到Minio

如果使用自己搭建的Minio，操作步骤如下：

登录Minio
输入用户名密码
创建bucket：model-upload
上传模型文件到bucket下，如下图所示：

二、创建AI模型的配置项

进入配置管理界面，点击创建配置项，填写配置项名称：mobilnetv1-ssd-voc-fluid-arm64。然后点击引入文件，填写AI模型文件在对象存储当中的下载信息。

支持从Baidu BOS引入文件

在公有云环境下，BIE与BOS账号集成打通，如果从BOS引入文件，不需要输入用户名密码，直接通过下拉菜单选择模型文件位置即可。如果是引入非当前BIE账号下的模型文件，则需要输入访问BOS的AK\SK

支持从S3引入文件

如果需要从S3对象存储当中引入文件，则按照以下案例输入模型文件下载信息，实际使用的的是自己搭建的minio服务。

三、创建AI应用

进入应用部署界面，点击创建应用，按照提示以此填写：①基本信息->②服务配置。

①基本信息

在基本信息界面填写应用的基本信息，如下图所示：

应用名称：edge-ai-demo-app
应用类型：容器应用
应用描述：可选，可为空

②服务配置

在服务配置界面，填写服务信息，点击添加服务，在弹出框当中填写如下信息：

基本信息
- 服务名称：object-detection
- arm镜像地址：iregistry.baidubce.com/aiot/edgekit_armv8:1.0.2
- amd镜像地址：iregistry.baidubce.com/aiot/edgekit_x86:1.0.2
  注意：
  1. 不同架构有不同的模型，模型需要与对应架构的镜像匹配
  2. 镜像为内网镜像仓库地址
卷配置
- 卷名称：ai-model
- 类型：配置项
- 参数：从下拉框当中选择前面创建的AI模型配置项
- 容器目录：/mnt/easyedge
- 读写权限：读写
端口映射
- 宿主机端口：8088
- 容器端口：8701
- 协议：TCP
启动参数（启动参数与模型和推断镜像强相关，启动参数并非所有模型都是标准的）
- /bin/bash
- /home/work/easyedge/serving/bootstrap.sh
其他
- 使用默认配置

到此完成应用创建。

四、部署AI应用到边缘节点

在应用部署当中，可以选择将应用部署至哪些边缘节点，部署的逻辑是通过边缘节点的标签进行匹配。例如edge-node这个边缘节点有一个baetyl-node-name: edge-node这样的KV标签，如下图所示：

那么目标节点界面，点击匹配标签，添加baetyl-node-name: edge-node作为目标节点标签，如下图所示：

在添加完毕以后，系统自动基于标签匹配出目标节点为edge-node，如下图所示：

五、验证边缘AI服务运行

打开原模型的label_list.txt文件，我们可以看到此模型可以识别以下种类物体：

Plain Text

1background
2aeroplane
3bicycle
4bird
5boat
6bottle
7bus
8car
9cat
10chair
11cow
12diningtable
13dog
14horse
15motorbike
16person
17pottedplant
18sheep
19sofa
20train
21tvmonitor

可以看到此模型可以识别人和狗这两种物体，我们可以找一张遛狗的测试图片。

通过浏览器验证

本案例当中的AI推断服务提供了web操作界面，所以可以通过web界面上传上述测试图片。打开浏览器，访问：http://[边缘节点IP地址]:8088/。如果能够打开界面，表示边缘推断服务正常启动。此时上传测试图片，推断服务将自动给出推断结果，如下图所示，在置信度为80%时，识别出图片当中有3个人，1条狗，置信度可用户自定义修改。

通过API验证

ai-infer-service作为一个容器服务运行在边缘节点，它同时对外提供API访问接口，支持被其他应用调用，并返回物体检测结果。具体API使用参考EasyEdge SDK文档

下面通过python代码调用接口进行示例说明：

拷贝下面的python代码保存至本地，命名为test_ai_model_api.py。

                Python
                
                import requests
 
with open('./1.jpg', 'rb') as f:
    img = f.read()
 
# params is GET params,  data is POST Body
result = requests.post('http://[边缘节点ip]:8088/', params={'threshold': 0.8},data=img).json()
 
print (result)

下载图片 1.jpg，保存至与test_ai_model_api.py同目录下。
执行test_ai_model_api.py

Shell

1python test_ai_model_api.py

查看接口返回结果为如下JSON，同样标识识别出1个人和3条狗。

                JSON
                
            

                {
    'cost_ms': 179,
    'error_code': 0,
    'results': [{
        'confidence': 0.9943918585777283,
        'index': 12,
        'label': 'dog',
        'location': {
            'height': 397,
            'left': 100,
            'top': 691,
            'width': 383
        },
        'name': 'dog',
        'score': 0.9943918585777283,
        'x1': 0.14523082971572876,
        'x2': 0.6987910866737366,
        'y1': 0.6263848543167114,
        'y2': 0.9866765737533569
    }, {
        'confidence': 0.9922541379928589,
        'index': 15,
        'label': 'person',
        'location': {
            'height': 304,
            'left': 547,
            'top': 332,
            'width': 92
        },
        'name': 'person',
        'score': 0.9922541379928589,
        'x1': 0.7918291687965393,
        'x2': 0.9249030947685242,
        'y1': 0.30082497000694275,
        'y2': 0.5762962102890015
    }, {
        'confidence': 0.9846013784408569,
        'index': 15,
        'label': 'person',
        'location': {
            'height': 1020,
            'left': 311,
            'top': 63,
            'width': 308
        },
        'name': 'person',
        'score': 0.9846013784408569,
        'x1': 0.4507014751434326,
        'x2': 0.8969031572341919,
        'y1': 0.05781838297843933,
        'y2': 0.9817966222763062
    }, {
        'confidence': 0.9536634683609009,
        'index': 15,
        'label': 'person',
        'location': {
            'height': 357,
            'left': 35,
            'top': 327,
            'width': 149
        },
        'name': 'person',
        'score': 0.9536634683609009,
        'x1': 0.05083557963371277,
        'x2': 0.2662031948566437,
        'y1': 0.2963605523109436,
        'y2': 0.6200013160705566
    }]
}
            

DaemonSet类型和job类型服务部署

NVIDIA Jetson专用模型部署-容器模式

智能边缘 BIE