自建AMP之内存优化

最新推荐文章于 2025-05-06 12:42:21 发布
原创 最新推荐文章于 2025-05-06 12:42:21 发布 · 318 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#内存优化 #android内存机制 #内存抖动，内存泄漏 #图片

本文深入探讨内存优化的重要性和策略，包括内存泄漏、抖动的识别与解决，以及使用MemoryProfiler、MemoryAnalyzer等工具进行内存监控的方法。同时，介绍了ARTHook等技术在图片内存管理上的应用，以及线上内存监控的常规和完整方案。
内存优化介绍及工具选择

目录

  • 内存优化介绍
  • 优化工具选择

背景介绍

  • 内存是大问题但缺乏关注
  • 压死骆驼的最后一根稻草

内存问题

  • 内存抖动：锯齿状、GC导致卡顿
  • 内存泄漏：可用内存减少、频繁GC
  • 内存溢出：OOM、程序异常

工具选择

Memory Profiler

  • 实时图表展示应用内存使用量
  • 识别内存泄漏、抖动等
  • 提供捕获堆转储、强制GC以及跟踪内存分配的能力
  • 方便直观
  • 线下平时使用

Memory Analyzer

  • 强大的JavaHeap分析工具，查找内存泄漏以及内存占用
  • 生成整体报告、分析问题等
  • 线下深入使用

LeakCanary

  • 自动内存泄漏检测
  • https://github.com/square/leakcanary
  • 线上集成

总结

  • 内存问题及工具选择
Android内存管理机制

目录

  • Java内存管理机制
  • Android内存管理机制

Java内存分配

方法区、虚拟机栈、本地方法栈、堆、程序计数器

Java内存回收算法

  • 标记-清除算法
  • 标记出所有需要回收的对象
  • 统一回收所有被标记的对象

标记-清除算法
在这里插入图片描述
在这里插入图片描述
小结
1.标记清除效率不高
2.产生大量不连续的内存碎片

复制算法
将内存划分为大小相等的两块
一块内存用完之后复制存活对象到另一块
清理另一块内存

在这里插入图片描述
小结
1.实现简单，运行高效
2.浪费一半空间代价大

标记-整理算法
标记过程与标记“清除算法”一样
存活对象往一端进行移动
清理其余内存
在这里插入图片描述
小结
避免标记-清理导致的内存碎片
避免复制算法的空间浪费

分代收集算法
结合多种收集算法优势
新生代对象存活率低，复制
老年代对象存活率高，标记-整理

Android内存管理机制

  • 内存弹性分配，分配数值与最大值受具体设备影响
  • OOM场景：内存真正不足、可用内存不足

Dalvik与ART区别

  • Dalvik仅固定一种回收算法
  • Art回收算法可运行期选择

LowMemoryKiller

  • 进程分类（前台、可见、服务、后台、空进程）（高到低）
  • 回收收益

总结
Java及Android内存管理机制

内存抖动解决实战

目录

  • 内存抖动介绍
  • 内存抖动解决实战
  • 总结

内存抖动介绍

  • 定义：内存频繁分配和回收导致内存不稳定
  • 表现：频繁GC、内存曲线层锯齿状
  • 危害：导致卡顿、OOM

内存抖动导致OOM

  • 频繁创建对象，导致内存不足及碎片（不连续）
  • 不连续的内存片无法分配（导致OOM）

内存抖动解决实战

  • 使用MemoryProfiler初步排查
  • 使用Memory Profiler或CPU Profiler结合代码排查

内存抖动解决技巧

  • 找循环或频繁调用的地方

总结

  • 内存抖动
  • 内存抖动解决实战
内存泄漏解决实战

目录

  • 内存泄漏介绍
  • 内存泄漏解决实战
  • 总结
    内存泄漏介绍
  • 定义：内存中存在已经没有用的对象
  • 表现：内存抖动、可用内存逐渐变少
  • 危害：内存不足、GC频繁、OOM

Memory Analyzer

  • https://www.eclipse.org/mat/downloads.php
  • 转换：hprof-conv 原文件路径 转换后文件路径

小结

  • 使用Memory Profiler初步观察
  • 通过MemoryAnalyzer结合代码确认
全面理解MAT
ARTHook优雅检测不合理图片

目录

  • Bitmap内存模型
  • 常规方式
  • ARTHook介绍

Bitmap内存模型

  • API10之前Bitmap自身在Dalvik Heap中，像素在Native
  • API10之后像素也被放在Dalvik Heap中
  • API26之后像素在Native中
  • 获取Bitmap占用内存
  • getByteCount
  • 宽高一像素占用内存

常规方式

  • 背景：图片对内存优化至关重要、图片宽高大于控件宽高
  • 实现：继承ImageView，覆写实现计算大小
  • 侵入性强
  • 不通用

ARTHook介绍

  • 挂钩，将额外的代码钩住原有方法，修改执行逻辑
  • 运行时插桩
  • 性能分析

Epic简介(替代c hook)

  • Epic是一个虚拟机层面、以Java Method为粒度的运行时Hook框架
  • 支持Android4.0-9.0
  • https://github.com/tiann/epic

Epic使用

  • compile ‘me.weishu:epic:0.3.6’
  • 继承XC_MethodHook，实现相应逻辑
  • 注入Hook:DexposedBridge.findAndHookMethod
public class ImageHook extends XC_MethodHook{
	//伪代码
	afterHookMethod(MethodHookParam param){
		super
		//实现我们的逻辑
		ImageView imageView=(ImageView)param.thisObject;
		checkBitmap(imageView,imageView.getDrawable())
	}


}

ARTHook实现

  • 无侵入性
  • 通用性强
  • 兼容问题大，开源方案不能带到线上环境
线上内存监控方案
  • 常规实现
  • leakCanary定制
  • 完整方案

常规实现一
设定场景线上Dump:Debug.dumpHprofData();

常规实现流程
超过最大内存80%->内存Dump->回传文件（wifi上传）->MAT手动分析

方案一总结
Dump文件太大，和对象数正相关，可裁剪
上传失败率高，分析困难
配合一定策略，有一定效果

常规实现方案二
集成leakCanary带到线上
预设泄漏怀疑点
发现泄漏回传

方案二总结
不适合所有情况，必须预设怀疑点
分析比较耗时、也容易OOM

LeakCanary原理
监控生命周期，onDestroy添加RefWatcher检测
二次确认断定发生内存泄漏
分析泄漏，找引用链
监控组件，分析组件

LeakCanary定制
预设怀疑点->自动找怀疑点
分析泄漏链路慢->分析RetainSize大的对象
分析OOM->对象裁剪，不全部加载到内存

线上监控完整方案
待机内存、重点模块内存、OOM率
整体及重点模块GC次数、GC时间
增强的LeakCanary自动化内存泄漏分析

总结
线上内存泄漏监控的常规方案
线上内存监控的完整方案

内存优化技巧总结

优化大方向【方便简单好做见效快】

  1. 内存泄漏
  2. 内存抖动
  3. Bitmap

优化细节
LargeHeap属性（申请更多内存）
lowMemoryKiller
onTrimMemory
使用优化过的集合：SparseArray
谨慎使用SharedPreference
谨慎使用外部库
业务架构设计合理（省市区）

ARM学习（23）AMP和SMP的认识与理解
张一西的博客
06-30 7618
笔者经常听到ARM架构时，谈到SMP的架构或者AMP的架构，今天特意来了解一下，
结构体&&内存对齐总结
qq_39491794的博客
04-19 698
结构体内存究竟是怎样分布的呢，对于以前在访问stm32内部flash时，对于访问的问题做如下总结：关键字词：寻址（字节，位，半字节）；内存对齐：初始地址的选择不是任意的，必须是寻址单位的整数倍，否则会出现各种内存的读写错误，不是数据不正确，或者莫名其妙的程序崩溃等等问题。关于结构体变量类型之间的强制转换：https://blog.youkuaiyun.com/nethanhan/article/details...
AMP架构详解
m0_53606280的博客
09-29 4126
同构多核处理器是指系统中的处理器在结构上是相同的，在软硬件设计上较为简单，通用性高。 异构多核处理器是指系统中的处理器在结构上不同的，在特定场合中可以进行加速，提高性能。Xilinx 的 ZYNQ SOC 融合了这两种架构， ZYNQ SOC 芯片包含两个独立的 Cortex-A9 处理器，这两个处理器核在结构上是相同的，同时又包括了可编程的逻辑单元（ PL），使得 ZYNQ 整体系统成为了一个异构多核系统，同时具有较高的通用性和性能。
使用AMP和Tensor Cores得到更快速，更节省内存的PyTorch模型
AI公园
10-31 2924
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：RahulAgarwal编译：ronghuaiyang导读只需要添加几行代码，就可以得到更快速，更省显存的PyTorch...
更快的计算，更高的内存效率：PyTorch混合精度模型AMP介绍
deephub
03-21 2170
作者：Rahul Agarwal ​ 您是否知道反向传播算法是Geoffrey Hinton在1986年的《自然》杂志上提出的？ ​ 同样的，卷积网络由Yann le cun于1998年首次提出，并进行了数字分类，他使用了单个卷积层。 直到2012年下半年，Alexnet才通过使用多个卷积层在imagenet上实现最先进的技术来推广卷积网络。 ​ 那么，是什么让他们直到现在才这...
大数据存储平台调优之Hadoop优化
数据之路
03-15 2886
大数据存储平台调优之Hadoop优化 在上节搭建完集群、完成Linux系统配置(优化)后以及建好HDFS上的目录后，我们接下来需要对Hadoop集群做一些优化的工作。我们从两个方面来说：一是HDFS存储方面，一是计算方面  1、 HDFS方面： 1> 存储格式的选择 对于分析类型的业务来说，最好的存储格式自然是列存储，因为数据量巨大，只扫关心的数据列无疑具有很大优势。目前hadoop...
海思MPP业务MMZ内存优化介绍
super-H
06-20 3270
海思MPP业务MMZ内存优化介绍 概述        完全是本着内存吃紧的情况下的一些优化点，都是在文档有介绍的，自己多调试下就出来了，好不好用，还请自己评估，这里只是给出一些点的介绍。本着有坑也不填的原则，这里只做交流使用，后果自负。 OS内存和MMZ 海思的安防平...
数据库SQL优化大总结之 百万级数据库优化方案
修炼中
07-18 950
网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。 这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。   一、百万级...
Python之MySQL优化（下）
baidu_39394442的博客
10-10 380
1.0 排序优化 1.1 永远是小表驱动大表 ordel by 优化 #ordel by 语句 尽量选择index 方式排序，避免使用filesort （文件内排序）排序。 create table tbla(age int ,birth timestamp not null); insert into tbla(age,birth) values(22,now()); insert into tbla(age,birth) values(23,now()); insert into tbla(age,
DeepSeek部署实战指南：从环境搭建到企业级优化
全栈
05-06 2128
本文系统解析DeepSeek模型从环境搭建到企业级部署的全流程，涵盖硬件选型、依赖管理、模型加载、API服务设计、负载均衡及性能优化策略。通过量化压缩、异步处理、容器化部署等技术，解决显存占用、高并发响应等核心问题，助力企业实现数据安全、低延迟推理与成本可控的AI服务落地。
sql性能优化：sql处理千百万级以上的数据提高查询速度的方法，查询速度慢怎么处理
热门推荐
橙-极纪元-JJYCheng
11-29 1万+
处理百万级以上的数据提高查询速度的方法： 1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： ...
学习笔记：枚举与优化之unordered_set/map
Poki从零开始的打码之路
05-10 935
Poki的学习笔记：枚举与优化之unordered_set/map是什么unordered_map与unordered_set区别与set/map的区别具体应用 本笔记随时会更改，仅代表个人理解，参考了许多博文资料，也许会有很多错漏希望指正。 是什么 特点：无序 应用：快速查找删除 统计次数问题 无序容器 unordered_set&unordered_map内部实现均基于哈希表（采用除留...
ADC采样精度下降之谜揭晓：参考电压、噪声干扰与软件滤波优化全策略
ADC采样精度下降之谜：现象与本质 在高精度数据采集系统中，工程师常遭遇ADC采样结果偏离预期的现象——本应稳定的模拟信号转换后出现波动、非线性跳变甚至有效位数显著降低。这种“精度下降”并非单一因素所致，...
MAT工具介绍和使用
ZPCrobot的博客
11-09 1604
Hprof转换工具 转换命令 MAT可视化工具 全面理解MAT overView 1.Histogram 基于类分析 （直方图）列出class的实例，shallowsize，retainedsize groupByPackage With outGoing Reference With incoming Reference 2.Dominator_tree 基于实例分析 3.OQL 对象查询语言 4.Thread Overview 线程总数查看 5.Top consumers
自建APM之卡顿优化
ZPCrobot的博客
11-10 511
卡顿介绍及优化工具选择 CPU Profiler Systrace StrictMode 背景介绍 很多性能问题不易被发现，但是卡顿很容易被直观感受 卡顿问题难以定位 卡顿问题难在哪里 产生原因错综复杂：代码、内存、绘制、IO？ 不易复现：当时场景强相关 CPU Profiler 图形展示执行时间、调用栈 信息全面，包含所有线程 运行时开销严重，整体都会变慢（带偏优化方向） TraceView和Systrace StrictMode 严苛模式，Android提供的一种运行时检测机制 方便强大，容易被忽略 包
异步优化方案
ZPCrobot的博客
11-09 473
异步优化详解 创建线程，创建线程池 Executors.newFixedThreadPool()//设置线程数量，参考AsyncTask 问题1.任务必须执行在主线程当中（不符合异步要求） 解决办法：把任务改造成可以在子线程中执行，或者把任务放到主线程执行 问题2.异步任务结束时间晚于调用时机（需要在某个阶段完成） 解决办法：使用java的CountDownLatch锁 问题3：CPU密集型任务，IO密集型任务 异步优化痛点 1.代码不够优雅 2.场景不好处理（依赖关系） 3.维护成本高 启动器流程 代码
自建APM之启动优化
ZPCrobot的博客
11-09 446
优化背景 8秒定律，打开一个网页加载的时间超过八秒。会有70%的用户流失 现状分析 启动时间测量 adb方式测量 adb shell am start -W -n 应用包名/Activity全路径名 这个命令在不同手机下的输出不一样 vivo X9i MI 8 这种方式简单，适合我们线下使用。但是这种方式误差比较大。需要测量多次然后取平均值 这里解释一下 thisTime 打开当前页面耗时 totalTime 打开所有页面耗时 waitTime 冷启动 简单讲app冷启动可以分为两个阶段 第一阶
学习：Android性能优化典范
ZPCrobot的博客
01-06 376
android性能优化 创建更快更优秀的android应用 渲染机制、内存与GC、电量优化 0）render performance 大多数用户所感知的卡顿问题最重要的根源都是因为渲染性能 Android系统无法及时完成复杂界面渲染操作 Android系统每隔16ms发出VSYNC信号，触发UI渲染 只有每次渲染成功，才能够达到流畅画面所需要的60fps的帧率，这也就意味着程序的大多数操作都必须在...
自建APM之布局优化
ZPCrobot的博客
11-10 354
绘制原理 Cpu负责计算显示内容 Gpu负责栅格化（UI元素绘制到屏幕上） 16ms发出VSync信号触发UI渲染 大多数Android设备屏幕刷新频率：60Hz 优化工具 Systrace 关注Frames 正常：绿色圆点，丢帧：黄色或红色 alerts栏 LayoutInsepector 层次结构 screenShot PropertiesTable Choreographer 获取FPS，线上使用，具备实时性 Api16之后 Choreographer.getInstance().postFrame
如何优化图像和文本嵌入的生成过程以提高相似度计算效率？
最新发布
09-20
<think> 我们正在讨论如何优化图像和文本嵌入生成过程以提高相似度计算效率。根据引用[1]和[3]，以及我们之前讨论的余弦相似度计算，优化可以从以下几个层面进行： ### 优化方法 #### 1. **模型选择与压缩** - **选择轻量级模型**：使用更小的预训练模型（如CLIP的`ViT-B/32`代替`ViT-L/14`），在保持合理精度的同时减少计算量[^1]。 - **模型量化**：将模型权重从浮点数（如FP32）转换为低精度格式（如INT8），减少内存占用并加速推理。例如，使用PyTorch的`torch.quantization`模块： ```python model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") quantized_model = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8) ``` 量化后的模型在CPU上推理速度可提升2-4倍[^1]。 - **知识蒸馏**：用大型教师模型训练小型学生模型，使小模型逼近大模型的嵌入质量（如DistilCLIP）。 #### 2. **批处理与并行计算** - **批量生成嵌入**：同时处理多张图像/文本（如一次处理128个样本），利用GPU并行计算能力。在CLIP中，可通过处理器批量处理： ```python # 批量处理文本列表和图像列表 text_list = ["a cat", "a dog", ...] # 128个文本 image_list = [img1, img2, ...] # 128张图像 inputs = processor(text=text_list, images=image_list, return_tensors="pt", padding=True) outputs = model(**inputs) ``` - **GPU/TPU加速**：使用多卡并行（如PyTorch的`DataParallel`）或混合精度训练（`torch.cuda.amp`）加速嵌入生成。 #### 3. **嵌入预处理与索引** - **嵌入归一化与缓存**：生成嵌入后立即进行L2归一化（$\mathbf{v}_{\text{norm}} = \frac{\mathbf{v}}{\|\mathbf{v}\|}$），并存储到数据库。后续计算余弦相似度简化为点积（$\mathbf{A}_{\text{norm}} \cdot \mathbf{B}_{\text{norm}}$），避免重复计算范数[^1]。 - **使用向量数据库**：将嵌入存入专用数据库（如Faiss、Milvus），支持高效最近邻搜索（ANN）。Faiss通过量化、倒排索引等技术，将相似度计算复杂度从 $O(n)$ 降至 $O(\log n)$[^3]。示例： ```python import faiss # 创建索引并添加归一化的图像嵌入 index = faiss.IndexFlatIP(512) # Inner Product = 余弦相似度 image_embeddings = ... # 形状为 [N, 512] 的归一化嵌入 index.add(image_embeddings) # 检索与文本嵌入最相似的图像 similarity, indices = index.search(text_embedding, k=10) # 返回top10 ``` #### 4. **输入数据优化** - **图像降采样**：调整图像分辨率至模型输入尺寸（如CLIP的224×224），避免冗余计算。 - **文本截断**：限制文本长度（如CLIP最大77 tokens），使用分词器的截断功能： ```python inputs = processor(text=text, truncation=True, max_length=77, ...) ``` ### 性能对比 | 方法 | 加速比 | 适用场景 | |-------------------|--------|------------------------------| | 量化模型 (INT8) | 2-4× | CPU推理 | | 批处理 (128 vs 1) | 50-100×| GPU推理 | | Faiss索引检索 | 100× | 大规模数据集（>100万条）[^3] | ### 总结 优化核心在于**减少单次嵌入生成时间**（轻量模型+批处理）和**加速相似度检索**（预处理+向量数据库）。实际应用中，Faiss索引配合归一化嵌入是最有效的方案，尤其适用于搜索引擎等需要实时响应的场景[^1][^3]。 §§相关问题§§ 1. 向量数据库（如Faiss）是如何实现高效相似度搜索的？ 2. 模型量化会降低图像-文本相似度计算的准确性吗？ 3. 除了CLIP，还有哪些适合移动端部署的轻量级多模态模型？ </think> ### 优化图像和文本嵌入生成过程以提高效率的方法 #### 1. **模型轻量化与量化** - **知识蒸馏**：用大型教师模型（如CLIP-ViT-L/14）训练小型学生模型，减少参数量的同时保持85%以上精度[^2]。公式表示为： $$ \mathcal{L}_{\text{KD}} = \alpha \mathcal{L}_{\text{CE}} + (1-\alpha) \mathcal{L}_{\text{MSE}}(\mathbf{E}_s, \mathbf{E}_t) $$ 其中 $\mathbf{E}_s, \mathbf{E}_t$ 分别为学生/教师模型生成的嵌入向量。 - **模型量化**：将FP32权重转换为INT8格式，推理速度提升2-3倍，内存占用减少75%。PyTorch实现示例： ```python model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") quantized_model = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8) ``` #### 2. **批处理与硬件加速** - **批量嵌入生成**：单次处理多个图像/文本样本，充分利用GPU并行能力。CLIP批量处理128张图像时，吞吐量可达单张处理的40倍[^1]： ```python # 批量处理128张图像 image_batch = torch.stack([preprocess(img) for img in image_list]) embeddings = model.get_image_features(image_batch) ``` - **硬件优化**： - 使用TensorRT或ONNX Runtime加速推理 - FP16混合精度训练（`torch.cuda.amp`） #### 3. **嵌入预处理与缓存** - **嵌入归一化存储**：提前计算L2归一化嵌入 $ \mathbf{v}_{\text{norm}} = \frac{\mathbf{v}}{\|\mathbf{v}\|_2} $，后续余弦相似度简化为点积 $\mathbf{A} \cdot \mathbf{B}$[^1] - **向量索引优化**：使用Faiss库创建IVF索引，百万级向量检索速度提升100倍： ```python index = faiss.IndexIVFFlat(faiss.IndexFlatIP(512), 512, 100) index.train(embeddings) # 预建索引 index.add(embeddings) # 添加缓存嵌入 ``` #### 4. **输入数据优化** - **图像降采样**：将高清图像降采样至模型输入尺寸（如CLIP的224×224），处理速度提升5倍 - **文本长度截断**：限制文本token长度（如CLIP默认77），通过分词器自动截断： ```python inputs = processor(text=text, truncation=True, max_length=77, return_tensors="pt") ``` #### 5. **异步流水线设计** ```mermaid graph LR A[图像输入] --> B{嵌入生成队列} C[文本输入] --> B B --> D[GPU批量计算] D --> E[归一化存储] E --> F[Faiss索引] F --> G[实时相似度查询] ``` 通过队列机制实现计算与I/O分离，资源利用率提升60%[^3] ### 性能对比（CLIP-ViT-B/32模型） | 优化方法 | 单张耗时(ms) | 内存占用(MB) | 吞吐量提升 | |------------------|-------------|-------------|-----------| | 原始模型 | 42 | 1,200 | 1× | | INT8量化 | 18 | 380 | 2.3× | | 批处理(128) | 1.1 | 1,800 | 38× | | Faiss索引检索 | 0.05 | 500* | 840× | > *含索引内存开销
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值