- 博客(21)
- 收藏
- 关注
RSS订阅原创 无需重新训练的炼丹术：LLM与MLLM时代的模型融合全景解析
摘要： 模型融合（Model Merging）是一种通过参数聚合整合多个专家模型知识的高效技术，无需原始数据或重新训练。相比传统方法（如多任务学习、联邦学习），它显著降低了计算与存储开销。融合过程分为两阶段：融合前置（通过友好微调、架构转换、权重对齐消除合并障碍）和融合进行时（采用加权平均、子空间投影、动态路由等方法解决任务冲突）。该技术为跨模型知识整合提供了低成本的解决方案，成为突破算力与数据限制的新范式。
2026-05-25 20:32:58
447
原创 从架构设计到对齐微调：一文读懂 MLLM 的核心技术栈
摘要 多模态大语言模型（MLLM）通过融合大语言模型（LLM）的推理能力与视觉模型（LVM）的感知能力，实现了跨模态理解与生成。MLLM的核心架构包括模态编码器（处理图像、音频等输入）、预训练LLM（负责推理）和模态接口（实现多模态对齐）。技术演进从2022年的萌芽期（如Flamingo）到2023年的开源爆发（如LLaVA），再到2024年工业级模型（如GPT-4V）。关键突破包括高分辨率视觉编码、多模态指令微调以及混合专家架构（MoE）的应用。
2026-05-18 22:09:13
503
原创 对于LLMs的联邦遗忘学习
文章重点强调了模型复杂度与遗忘效率之间的权衡：像线性回归这样的简单模型，参数少，遗忘效率高；如下图所示，联邦遗忘学习（Federated Unlearning, FU） 的目标是使 FL 模型能够消除 FL 客户端或与客户端部分数据相关的可识别信息的影响，同时保持去中心化学习过程的隐私保证。由于LLM参数量级达到十亿甚至万亿级别，数据被高度分散存储在参数中，如何在其中实现高效的遗忘是目前极具挑战的难题。如下图所示，遗忘学习的主要目标是消除训练模型中特定数据点的影响，同时保留模型的整体性能。
2026-04-30 11:39:25
745
原创 联邦学习中的异质性问题
本文参考文章链接:在人工智能飞速发展的今天，我们正站在一个前所未有的数据洪流时代。边缘设备每日产生海量数据，蕴藏着改变世界的智能潜力，但同时也面临着隐私保护与数据孤岛的双重挑战。（Federated Learning, FL）作为一种颠覆性的分布式机器学习范式，应运而生，其核心思想——“数据不动模型动”——让我们看到了在保护隐私的前提下协同挖掘数据价值的曙光。
2025-09-26 22:16:35
1470
原创 模块化神经网络
模块化神经网络（Modular Neural Network）是一种将复杂的深度学习系统分解为一系列功能相对独立、可重复使用的子网络（称为“模块”或“专家”）的架构设计；其核心思想是通过一个动态的“路由”机制，针对不同的输入或任务，灵活地选择并组合一个或多个最相关的专用模块进行计算，而非让整个庞大的网络处理所有信息，从而在实现功能专业化（每个模块专注于学习一项特定技能或知识）、参数高效性（无需为每个新任务训练整个模型，只需训练或调用小型模块）和系统组合性。
2025-09-25 18:09:39
1163
原创 联邦学习收敛性分析
本文介绍了三类函数：强凸函数、凸函数和非凸函数。凸函数定义为任意两点连线位于函数图像上方，如二次函数和指数函数；强凸函数是比凸函数更严格的类别，具有更强的弯曲特性，确保优化时快速收敛；非凸函数则缺乏凸性条件，可能存在多个局部最优解，如深度学习中的损失函数。三类函数在解的性质、收敛性、计算复杂度等方面存在显著差异，凸优化问题通常更易求解，而非凸优化问题则需要更复杂的算法处理。
2025-09-21 22:26:42
1042
2原创 模型轻量化技术
本文总结自链接:模型轻量化（Model Compression and Acceleration）是一项致力于的关键技术。它通过在保证模型精度基本不变的前提下，降低其计算复杂度、减少参数规模并优化资源占用，从而解决模型在实用中的瓶颈问题。该技术在移动终端与边缘计算等资源受限平台中具有不可替代的价值，能有效优化模型的响应延迟、增强其部署灵活性，并提高能效比。面对大规模深度神经网络在诸多人工智能领域（如图像识别、自然语言处理等）的广泛应用，其不断增长的模型复杂度与计算成本构成了新的挑战。
2025-09-16 11:47:42
546
原创 AutoDL使用
本文介绍了在AutoDL平台上上传项目和环境配置的基本操作。主要包括：通过unzip命令解压上传的压缩项目文件；使用source命令设置和取消网络代理；通过source activate激活基础环境；以及提供了VSCode连接AutoDL平台的图示说明。这些命令为在AutoDL平台上进行项目部署和环境配置提供了基础操作指南。
2025-09-11 10:17:35
289
原创 LLM基本知识
在传统的RNN（循环神经网络）或CNN（卷积神经网络）中，模型通过网络结构自身来处理输入的顺序信息。然而，Transformer模型的结构并不依赖于序列的顺序，它是完全并行的，没有内建的序列顺序信息。因此，需要通过额外的机制来显式地为每个输入元素注入位置相关的信息，这就是位置编码的作用。它的目的是将文本中的词汇表减少到更小的子词单位，从而提高模型在处理低频词和新词时的鲁棒性。它是通过将信息中的实体（如人、地点、事物、概念等）以及它们之间的关系以图形的方式组织起来，从而实现对世界的结构化表示。
2025-06-10 15:11:47
1131
原创 pytorch入门
DataLoader是一个可迭代的数据装载器，组合了数据集和采样器，并在给定数据集上提供可迭代对象。( Union [ int , Tuple [ int , int ] ] ) – 窗口的步幅。tranforms对应 tranforms.py 文件，里面定义了很多类，输入一个图片对象，返回经过处理的图片对象。要使用，torch.optim您必须构造一个优化器对象，该对象将保存当前状态并根据计算的梯度更新参数。大多数常用的方法都已经支持，并且接口足够通用，因此将来也可以轻松集成更复杂的方法。
2025-06-10 15:10:34
834
原创 python入门
def 函数名(参数):函数体return 返回值如果要定义一个无任何功能的空函数，函数体只写 pass 即可。def 函数名():passdef 函数名(*参数名):函数体lambda 参数 : 表达式。
2025-06-10 15:09:36
1286
原创 yolo入门
借鉴特征金字塔网的思想，YOLOv3设计了3种不同尺度的网络输出Y1、Y2、Y3，目的是预测不同尺度的目标。因此 YOLOv2 在此方法上进行了一点改变：预测边界框中心点相对于该网格左上角坐标 （ C x , C y ） （C_x, C_y） （Cx,Cy）的相对偏移量，同时为了将bounding box的中心点约束在当前网格中，使用 sigmoid 函数将 t x , t y t_x, t_y tx,ty 归一化处理，将值约束在0-1，这使得模型训练更稳定。听到此消息的我，为之震惊！
2025-06-10 15:08:42
1247
原创 opencv入门
OpenCV用C++语言编写，它具有C ++，Python，Java和MATLAB接口，并支持Windows，Linux，Android和Mac OS，OpenCV主要倾向于实时视觉应用，并在可用时利用MMX和SSE指令， 如今也提供对于C#、Ch、Ruby，GO的支持。所谓的模板匹配，就是在给定的图片中查找和模板最相似的区域，该算法的输入包括模板和图片，整个任务的思路就是按照滑窗的思路不断的移动模板图片，计算其与图像中对应区域的匹配度，最终将匹配度最高的区域选择为最终的结果。我们需要从其中提取特征。
2025-06-10 15:08:09
1266
原创 目标检测入门
（文章截取于百度飞桨，仅供自己学习记忆）目标检测的主要目的是让计算机可以自动识别图片或者视频帧中所有目标的类别，并在该目标周围绘制边界框，标示出每个目标的位置。检测任务需要同时预测物体的类别和位置，因此需要引入一些跟位置相关的概念。通常使用边界框（bounding box，bbox）来表示物体的位置，边界框是正好能包含物体的矩形框。通常有两种格式来表示边界框的位置：在检测任务中，训练数据集的标签里会给出目标物体真实边界框所对应的(x1,y1,x2,y2)这样的边界框也被称为真实框（ground trut
2025-06-10 15:07:17
1171
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人