视觉任务AndroidSDK集成文档

1    // 请替换为您的序列号
2    private static final String SERIAL_NUM = "XXXX-XXXX-XXXX-XXXX"; //这里填您的序列号

1    defaultConfig {
2        applicationId "com.baidu.ai.easyaimobile.demo" //  修改为比如“com.xxx.xxx"
3    }

1<activity android:name=".infertest.MainActivity">  <!-- 原始的是".MainActivity" -->
2    <intent-filter>
3        <action android:name="android.intent.action.MAIN" />
4
5        <category android:name="android.intent.category.LAUNCHER" />
6    </intent-filter>
7</activity>

1+app  简单的设置，模拟用户的项目
2|---+libs 实际使用时需要复制到自己的项目里
3    |----arm64-v8a v8a的so
4    |----armeabi-v7a v7a的so
5    |----easyedge-sdk.jar jar库文件
6|---+src/main
7    |---+assets 
8    	|----demo demo项目的配置，实际集成不需要
9    	|----infer 也可能是其它命名，infer表示通用arm。实际使用时可以复制到自己的项目里
10	|---+java/com.baidu.ai.edge/demo
11        |---+infertest 通用Arm精简版测试，里面有SDK的集成逻辑
12            |--- MainActivity 通用Arm精简版启动Activity，会根据assets目录判断当前的模型类型，并运行同目录的一个Task。使用时需要修改里面的序列号
13            |--- TestInferClassifyTask 通用Arm精简版分类
14            |--- TestInferDetectionTask 通用Arm精简版检测
15            |--- TestInferOcrTask 通用Arm精简版OCR
16            |--- TestInferPoseTask 通用Arm精简版姿态
17            |--- TestInferSegmentTask 通用Arm精简版分割
18        |---+snpetest SNPE精简版测试
19            |--- MainActivity SNPE精简版启动Activity，会根据assets目录判断当前的模型类型，并运行同目录的一个Task。使用时需要修改里面的序列号
20            |--- TestSnpeClassifyTask SNPE精简版分类
21            |--- TestSnpeDetectionTask SNPE精简版检测
22        |---+ddktest DDK精简版测试
23            |--- MainActivity DDK精简版启动Activity，会根据assets目录判断当前的模型类型，并运行同目录的一个Task。使用时需要修改里面的序列号
24            |--- TestDDKClassifyTask DDK精简版分类
25            |--- TestDDKDetectionTask DDK精简版检测
26        |---+davincitest Davinci精简版测试
27	        |--- MainActivity Davinci精简版启动Activity，会根据assets目录判断当前的模型类型，并运行同目录的一个Task。使用时需要修改里面的序列号
28	        |--- TestDavinciClassifyTask Davinci精简版分类
29	        |--- TestDavinciDetectionTask Davinci精简版检测
30        |----CameraActivity 摄像头扫描示例，里面有SDK的集成逻辑
31        |----MainActivity 启动Activity，使用时需要修改里面的序列号
32|---- build.gradle 这里修改包名
33+camera_ui UI模块，集成时可以忽略 

1InferConfig mInferConfig = new InferConfig(getAssets(),
2                                "infer");
3// assets 目录下的infer，infer表示通用arm

1输入：assets下的配置
2输出：具体的配置类

1String SERIAL_NUM = "XXXX-XXXX-XXXX-XXXX";
2
3// InferManager 为例:
4new InferManager(this, config, SERIAL_NUM)); // config为上一步的InferConfig

1输入： 1.配置类 ; 2.序列号
2输出： Manager类

1public interface ClassifyInterface {
2    List<ClassificationResultModel> classify(Bitmap bitmap, float confidence) throws BaseException;
3    
4    // 如InferManger 继承 ClassifyInterface

1输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
2输出 ClassificationResultModel
3异常：一般首次出现。可以打印出异常错误码。
4
5ClassificationResultModel
6- label：分类标签，定义在label_list.txt中
7- confidence：置信度，0-1
8- lableIndex：标签对应的序号

1public interface DetectInterface {
2     List<DetectionResultModel> detect(Bitmap bitmap, float confidence) throws BaseException;
3
4    // 如InferManger 继承 DetectInterface

1输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
2输出 DetectionResultModel List
3异常：一般首次出现。可以打印出异常错误码。
4
5DetectionResultModel
6- label：标签，定义在label_list.txt中
7- confidence：置信度
8- bounds：Rect，左上角和右下角坐标

1public interface SegmentInterface {
2    List<SegmentationResultModel> segment(Bitmap bitmap, float confidence) throws BaseException;
3    // 如InferManger 继承 SegmentInterface

1输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
2输出 SegmentationResultModel
3异常：一般首次出现。可以打印出异常错误码。
4
5SegmentationResultModel
6
7- label：标签，定义在label_list.txt中
8- confidence：置信度
9- lableIndex：标签对应的序号
10- box: Rect对象表示的对象框
11- mask：byte[]表示的原图大小的0，1掩码，绘制1的像素即可得到当前对象区域
12
13mask 字段说明， 如何绘制掩码也可参考demo工程
14	    1 0 1
15image	1 1 0      =>   mask(byte[])  101 110 011
16	    0 1 1

1public interface OcrInterface {
2    List<OcrResultModel> ocr(Bitmap bitmap, float confidence) throws BaseException;
3    // 如InferManger 继承 OcrInterface

1输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
2输出 OcrResultModel List，每个OcrResultModel对应结果里的一个四边形。
3异常：一般首次出现。可以打印出异常错误码。
4
5OcrResultModel
6
7- label：识别出的文字
8- confidence：置信度
9- List<Point>：4个点构成四边形

1public interface PoseInterface {
2    List<PoseResultModel> pose(Bitmap bitmap) throws BaseException;
3    // 如InferManger 继承 PoseInterface

1输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
2输出 PoseResultModel List
3异常：一般首次出现。可以打印出异常错误码。
4
5PoseResultModel
6
7- label：标签，定义在label_list.txt中
8- confidence：置信度
9- Pair<Point, Point>：2个点构成一条线

1 public void destory() throws BaseException

1try {
2	// step 1: 准备配置类
3	InferConfig config = new InferConfig(context.getAssets(), "infer");
4	
5	// step 2: 准备预测 Manager
6	InferManager manager = new InferManager(context, config, "");
7	
8	// step 3: 准备待预测的图像，必须为 Bitmap.Config.ARGB_8888 格式，一般为默认格式
9	Bitmap image = getFromSomeWhere();
10	
11	// step 4: 预测图像
12	List<ClassificationResultModel> results = manager.classify(image, 0.3f);
13	
14	// step 5: 解析结果
15	for (ClassificationResultModel resultModel : results) {
16		Log.i(TAG, "labelIndex=" + resultModel.getLabelIndex() 
17				+ ", labelName=" + resultModel.getLabel() 
18				+ ", confidence=" + resultModel.getConfidence());
19	}
20
21	// step 6: 释放资源。预测完毕请及时释放资源
22	manager.destroy();
23} catch (Exception e) {
24	Log.e(TAG, e.getMessage());
25}

1    "autocheck_qcom": true, // 如果改成false， sdk跳过检查手机是否是高通的Soc，非高通的Soc会奔溃直接导致app闪退
2
3    "snpe_runtimes_order": [],
4// 不填写为自动，按照 {DSP, GPU, GPU_FLOAT16, CPU}次序尝试初始化，也可以手动指定如[2,1,3,0], 具体数字的定义见下段

1public interface SnpeRuntimeInterface {
2    int CPU = 0;
3    int GPU = 1;
4    int DSP = 2;
5    int GPU_FLOAT16 = 3;
6}
7
8// SnpeManager 中，使用public static ArrayList<Integer> getAvailableRuntimes(Context context) 方法可以获取高通SOC支持的运行方式

1复制app/libs 至自己项目的app/libs目录。
2参照demo的app/build.gradle 中添加
3
4android {
5   ....
6    defaultConfig {
7        ndk {
8            abiFilters  'armeabi-v7a', 'arm64-v8a'
9        }
10    }
11   sourceSets {
12        main {
13            jniLibs.srcDirs = ['libs']
14        }
15    }
16}

1easyedge.jar文件同自己的jar文件放一起
2arm64-v8a和armeabi-v7a放到app/src/main/jniLibs目录下
3
4参照demo的app/build.gradle 中添加
5
6android {
7   ....
8    defaultConfig {
9        ndk {
10            abiFilters  'armeabi-v7a', 'arm64-v8a'
11        }
12    }

1easyedge.jar文件同自己的jar文件放一起
2arm64-v8a和armeabi-v7a取交集和自己的so放一起，交集的意思是比如自己的项目里有x86目录，必须删除x86。
3
4参照demo的app/build.gradle 中添加
5
6android {
7   ....
8    defaultConfig {
9        ndk {
10            abiFilters  'armeabi-v7a', 'arm64-v8a' // abiFilter取交集，即只能少不能多
11        }
12    }

1<uses-permission android:name="android.permission.INTERNET" />
2<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
3<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
4<uses-permission android:name="android.permission.READ_PHONE_STATE" />
5<!-- Android 11 支持 -->
6<uses-permission
7    android:name="android.permission.MANAGE_EXTERNAL_STORAGE"
8    tools:ignore="ScopedStorage" />
9
10<!-- 高版本 Android 支持 -->
11<application
12    android:requestLegacyExternalStorage="true"
13    android:usesCleartextTraffic="true"> 
14</application>

1-keep class com.baidu.ai.edge.core.*.*{ *; }

1// app/build.gradle
2
3dependencies {
4    implementation project(':camera_ui')
5    implementation files('libs/easyedge-sdk-androidx.jar') // 修改 jar 包依赖
6}

1// 1. 引入 app/build.gradle 的 xCrash 依赖
2android {
3	...
4	dependencies {
5		implementation 'com.iqiyi.xcrash:xcrash-android-lib:2.4.5' // 可以保存崩溃信息，默认未引入
6		...
7	}
8}
9
10// 2. 启用日志收集。日志将保存在 /sdcard/<包名>/xCrash
11// app/src/main/java/com.baidu.ai.edge/demo/MyApplication.java
12protected void attachBaseContext(Context context) {
13	// 日志保存位置
14	String basePath = Environment.getExternalStorageDirectory().toString() + "/" + context.getPackageName();
15	// 启用
16    XCrash.InitParameters params = new XCrash.InitParameters();
17    params.setAppVersion(BaseManager.VERSION);
18    params.setLogDir(basePath + "/xCrash");
19    XCrash.init(this, params);
20}