使用Benchmark工具测试tflite模型

最新推荐文章于 2023-04-12 20:10:02 发布
最新推荐文章于 2023-04-12 20:10:02 发布
阅读量1.3k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 日常科研 文章标签： python tensorflow android
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38638559/article/details/118827449
本文介绍了如何使用Benchmark工具测试TensorFlow Lite（tflite）模型在Android设备上的性能。通过adb推送文件，赋予benchamark_model执行权限，并执行adb shell命令进行延迟时间测试，得出平均延时为364.410毫秒。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

adb push文件

zy@zy-MS-7B98:~$ ls
android_aarch64_benchmark_model  official_KWT3_non_stream.tflite
# 把benchmark_model放入安卓机中
zy@zy-MS-7B98:~$ adb push android_aarch64_benchmark_model /data/local/tmp/
android_aarch64_benchmark_model: 1 file pushed. 7.8 MB/s (5866632 bytes in 0.715s)
# 把(.tflite)model放入安卓机中
zy@zy-MS-7B98:~$ adb push official_KWT3_non_stream.tflite /data/local/tmp/
official_KWT3_non_stream.tflite: 1 file pushed. 11.8 MB/s (22717772 bytes in 1.843s)

benchamark_model加权限

zy@zy-MS-7B98:~$ adb shell chmod 777 /data/local/tmp/android_aarch64_benchmark_model

adb shell做延迟时间的测试


                

                
                
        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
tflite benchmark model测试

				
			

			

				

					Cutepingping的博客
				

				

					09-28
					
					2133
					
				

			

		

		

			
				
假设Android NDK与SDK都安装完毕了，所以接下来只需要这几步：

1,编译benchmark程序


bazel build -c opt \

 --config=android_arm \

 --cxxopt='--std=c++11' \

 --copt=-DTFLITE_PROFILING_ENABLED \

 tensorflow/lite/tools/bench...

			
		

	



                

            
              



	

		

			

				
					
统计TF lite模型在移动平台的每个算子用时

				
			

			

				

					三川小哥 狂想曲
				

				

					10-14
					
					931
					
				

			

		

		

			
				
统计TF lite模型在移动平台的每个算子用时
文章目录统计TF lite模型在移动平台的每个算子用时0 前言用这个工具来干什么呢？1. 在主机上测试编译运行,2 在android上运行3 可用的参数必须参数：可选参数：4 代理模式的参数GPU delegate provider常规选项Android optionsNNAPI delegateHexagon delegateExternal delegate provider我的个人用例
0 前言
用这个工具来干什么呢？
如果你想测试你的模型在具体的移动平

			
		

	



              


  
              

                


	

		

			

				
					
Benchmark Test On Android Devices

				
			

			

				

					weixin_30569033的博客
				

				

					03-23
					
					341
					
				

			

		

		

			
				
一、Android设备上的Benckmark测试概述
同PC相比，在Android设备上的性能测试还没有一个公认的标准。也没有PC上那么多的测试程序集。但我们可以通过一些工具所得到的信息更好的了解设备的特性，毫无疑问，这也是非常有价值的参考信息。Benchmark Test的关键就在于如何找到这一个标准以及能够提供测试各种性能的功能强大的程序集。
二、目前Android平台上的测试工具收集（以...

			
		

	





	

		

			

				
					
AI Benchmark V5 tflite 测试模型

				
			

			

				

					程永强
				

				

					01-12
					
					3629
					
				

			

		

		

			
				
AI Benchmark V5 tflite 测试模型
1. AI Benchmark V5 下载
https://ai-benchmark.com/download.html
AI Benchmark V5.0.0 Preview - AI_Benchmark_V5_Preview.apk

Android application package，APK：Android 应用程序包

2. AI Benchmark V5 tflite 测试模型
1. AI_Benchmark_V5_Preview.apk

			
		

	



		

			
		



	

		

			

				
					
【PyTorch】模型 FPS 测试 Benchmark（参考 MMDetection 实现）

				
			

			

				

					XavierJ的博客
				

				

					12-07
					
					7713
					
				

			

		

		

			
				
深度学习中，模型的速度和性能具有同等重要的地位，因为这直接关系到模型是否能在实际生产应用中落地。在计算机视觉领域，FPS（模型每秒能够处理的图像帧数）是一个重要且直观地反映模型处理速度的指标，基本在所有图像处理类任务中都有用到，例如图像超分，图像修复和目标检测等等。本文从 MMDetection 中抽取了 FPS Benchmark，并做了微小的修改，以便快速测试。

			
		

	





	

		

			

				
					
Android Benchmark

				
			

			

				

					04-10
				

			

		

		

			
				
介绍了当前android系统测评的一些软件，比较全面系统，对网络资料进行了总结。

			
		

	





	

		

			

				
					
树莓派4边缘设备TFLite基准测试工具套件发布

				
			

			

				

					
				

			

		

		

			
				
开发者可以通过在WSL上运行测试来比较在不同操作系统环境下tflite模型的性能表现。  #### 5. 实现技术  **Python**  Python是当今广泛使用的高级编程语言，以其简洁、易读性而著称。Python版本3.7.3在tflite基准测试...

			
		

	





	

		

			

				
					
具有TFLite的Selfie2Anime —第2部分：TFLite模型

				
			

			

				

					weixin_26739079的博客
				

				

					08-24
					
					1024
					
				

			

		

		

			
				
Written by ML GDEs Margaret Maynard-Reid and Sayak Paul | Reviewed by Khanh LeViet and Hoi Lam ML GDEs 玛格丽特·梅纳德·里德和萨耶克·保罗撰写 Khanh LeViet和Hoi Lam评论 
This is part 2 of an end-to-end tutorial on how to c...

			
		

	





	

		

			

				
					
YOLOv8 benchmark：一行命令测试你的模型怎么跑更快

				
			

			

				

					OpenCV中文网
				

				

					04-12
					
					1094
					
				

			

		

		

			
				
关注公众号，发现CV技术之美YOLO系算法之所以在工业界受到追捧，并不单是因为精度高、速度快，可以很方便的开发和部署一直是一个重要原因。YOLOv8用PyTorch开发，但其模型可以很方便地转为各种主流深度学习框架的格式，方便用户在不同场景选择更适合和高效的方案。YOlOv8支持的导出格式：当你在部署模型时，硬件确定好后，选择哪种推理方式？YOLOv8 benchmark 可以一行命令帮你选择。最...

			
		

	





	

		

			

				
					
独立于android系统的benchmark

				
			

			

				

					weixin_35757531的博客
				

				

					02-01
					
					138
					
				

			

		

		

			
				
抱歉，我不知道你所指的 "独立于android系统的benchmark" 是什么。请提供更多上下文信息。


			
		

	





	

		

			

				
					
dlcv_benchmark_model_demo.py例子

				
			

			

				

					01-28
				

			

		

		

			
				
官方例子，深度学习专用，机器学习专用，代码简单，一看就会(dlcv benchmark model demo)

			
		

	





	

		

			

				
					
Tensorflow-benchmark_model部署至android平台，测试模型性能

				
			

			

				

					初级打字员博客
				

				

					04-16
					
					1673
					
				

			

		

		

			
				
TF-benchmark_model部署至android平台，测试模型性能
Host: 用来编译的pc平台，本文环境为 Ubuntu 16.04
Target: 用来跑分的android平台（主要指指令集架构），本文环境为armeabi-v7a

本文只编译一个android版benchmark_model工具


1. 在Host上，部署Tensorflow与Bazel
(a) 在本地创建Ten...

			
		

	





	

		

			

				
					
没有硬件，也可以运行与测试 TFLite 应用

				
			

			

				

					云水木石
				

				

					06-18
					
					1333
					
				

			

		

		

			
				
提到人工智能和机器学习（Marchine Learning，ML），你的脑海里是否立即会浮现计算中心、高端 GPU、成百上千的 TPU 等等。实际上，随着嵌入式设备、移动终端以及近年来物...

			
		

	





	

		

			

				
					
tf_cnn_benchmark 显存问题

				
			

			

				

					runzhliu大数据/容器日记
				

				

					04-07
					
					752
					
				

			

		

		

			
				
文章目录1 Overview2 Reason3 Summary
1 Overview
在测试 vGPU 的功能的时候，给容器分配了半张 GPU 卡，然后想用 Tensorflow Benchmark 测试一下，却发现半张 V100 32GB 显存从一开始就被占满了，但是 vGPU 只给 16 GB，这样发现 Tensorflow 无法正常运行。
2 Reason
因为 Tensorflow 默认会...

			
		

	





	

		

			

				
					
实战｜TF Lite 让树莓派记下你的美丽笑颜

				
			

			

				

					我爱计算机视觉
				

				

					02-07
					
					881
					
				

			

		

		

			
				
点击我爱计算机视觉标星，更快获取CVML新技术文 / Lucia Li 实习生，TensorFlow LiteSmart Photo Booth 应用实时运行图示我们很高兴展示借助 Te...

			
		

	





	

		

			

				
					
2021-02-22

				
			

			

				

					chocolate2018的博客
				

				

					02-23
					
					522
					
				

			

		

		

			
				
jacinto 机器学习
Jacinto机器学习工具箱通过在所有Jacinto设备上实现机器学习推理，将机器学习推向了前沿。它是作为TI的处理器SDK Linux的一部分提供的，可以免费下载和使用。今天的Jacinto机器学习由Neo-AI-DLR库组成。
• 3.8.1. Neo-AI深度学习运行库
• 3.8.2. TensorFlow Lite
• 3.8.2.1. 介绍
• 3.8.2.2. 支持的版本
• 3.8.2.3. TensorFlow Lite示例应用程序
• 3.8.2.3.1. 运行

			
		

	





	

		

			

				
					
(增加虚拟机）安装lite自带的benchmark和使用方法

				
			

			

				

					cihong3318的专栏
				

				

					11-25
					
					621
					
				

			

		

		

			
				
开发tensorflow lite，这里使用的是android studio。 
 

一、安装JAVA JDK 
在安装android studio前，需要安装JAVA JDK，因为android是JAVA语言。 
1、安装java jdk，只需要下面3条命令： 
 
sudo add-...

			
		

	





	

		

			

				
					
tflite模型测试

				
			

			

				

					NLP与推荐算法
				

				

					10-11
					
					3287
					
				

			

		

		

			
				
tflite模型和pb一样都需要测试，仅仅转换成功只是其中的一步，如果测试结果很差劲，就有可能转换过程中有问题，这个问题就多了，比如模型问题、有些Op问题、UNIT8/FLOAT问题，不可预知。无论哪个环节出现问题，都有可能需要重头再来！！比如换模型，后果不堪设想。

我之前提到过，这里也再说一次，目前tf RNN尚不能直接转为tflite，只有按照官方给的trick才可以，GRU是死都不能转的。...

			
		

	





	

		

			

				
					
轻量级神经网络MobileNet全家桶详解

					
热门推荐

				
			

			

				

					雷恩Layne
				

				

					09-05
					
					7万+
					
				

			

		

		

			
				
本文是转载文章，转载自从MobileNet看轻量级神经网络的发展，删除了文中冗余的部分，并加入许多自己的理解，通过引入具体的计算更清晰的反映出轻量级神经网络MobileNet的本质。

文章目录前言MobileNet的优势MobileNet各版本介绍MobileNetV1网络结构MobileNetV2网络结构MobileNetV3网络结构MobileNet各版本特性深度卷积(Depthwise convolution)逐点卷积(Pointwise Convolution)深度可分离卷积(Depthwise.

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值