embedded-ai.bench第1期- 2020-08

转载自:NeuralTalk
作者:ai-performance

  • 测试标准基于:embedded-ai.bench Spec(ADB Shell环境 benchmark公约,见后文【本次测试标准】);
  • 测试框架:3个;
  • 测试平台:2个。android-armv7,android-aarch64;
  • 硬件后端:CPU(1/2/4线程),GPU(CL/GL/VK,若有);
  • 测试模型:4个。tensorflow\_mobilenetv1、tensorflow\_mobilenetv2、caffe\_mobilenetv1、caffe\_mobilenetv2;
  • 涵盖12部手机,对应SoC分别为:
  1. 高通骁龙系列:865/855/845/835/625/410;
  2. 华为麒麟系列:990/980/970/820/810;
  3. 三星猎户座系列:exynos5。
  • 总计1153条benchmark数据;
  • 具体请详见release页面assets的文件。

注:因为是CSV文件,可以用Excel表格打开。通过对【表格】->【筛选】功能,对表头筛选,进行细致分析本次不给结论,在不同的手机上,不同框架表现不同

https://github.com/AI-performance/embedded-ai.bench/releases

定期发布性能数据

  1. 网站:https://ai-performance.com/embedded-ai.bench;
  2. 微信:NeuralTalk:

本次测试标准

  1. 用同一台手机(必须同一台),在同一时间段,测试不同框架性能。因为即使相同SoC型号的同一品牌手机,性能也有不同;同一手机,在不同时间段测出的性能也可能不同;
  2. 非root手机测试。用root的手机测试,不保证是否有锁频或者设置性能模式,虽然数据好看稳定但不符合实际,root后对调优kernel的参考价值大于实际应用的价值;
  3. 亮屏测试环境【人为干预设置】。是否亮屏,对部分手机如低端骁龙型号SoC的CPU、GPU性能影响较为明显。屏幕需要保持常亮,从经验来看,亮屏、熄屏、反复点亮熄屏的瞬间,对电压带来极大变化,会造成极大性能波动,测出极快的性能不符合用户实际使用;
  4. 不同组之间设置时间间隔。每组测试案例,需要间隙,避免长时的测试带来温度上升降频影响结果准确率,一般设置3到5秒(本次设置的是3秒),让CPU的状态恢复;
  5. CPU大小核绑定,以绑定大核为主,得到稳定性能。对CPU、GPU性能都有很大影响,绑定策略通常有绑定大核、小核、不绑定。不绑定更符合APP开发者。但测试过程一般以绑定大核为主。此外也有绑定失败、抢占等情况带来性能波动;
  6. 电量90~100%测试。苹果在发热,低电量会降频,安卓机不同厂家在不同场景下可能规则不同,也可人为设定,但统一100%电量下测试性能;
  7. 测试前reboot。避免开机后,系统长时间运行带来其它进程的内存、CPU资源干扰;
  8. 统一模型源头。不同框架横向比较同一模型时,采用同一源头模型如caffe\_mobilenetv1、tf\_mobilenetv2、onnx\_vgg16等。排除、统一模型转换带来的冗余或不规范OP。各个端侧框架可以有自己的模型转换优化模式,但源头必须统一;
  9. 需提供性能耗时标准差。一般有性能在最快、最慢、平均耗时的统计,此外还需提供稳定性度量指标,即总体耗时的标准差或方差。

往期回顾

  • 嵌入式AI简报 (2020-08-06)
  • 嵌入式AI简报 (2020-07-18)
  • MNN: 如何客观评价推理引擎

本作品采用知识共享署名-相同方式共享 4.0 通用许可协议进行许可。
欢迎关注公众号,关注模型压缩、低比特量化、移动端推理加速优化、部署。

更多嵌入式AI相关技术干货请关注嵌入式AI专栏。

发表评论

邮箱地址不会被公开。 必填项已用*标注

相关