多模态模型‘遗忘’原有的语言能力,回答不详细、理解力下降!这个痛点你遇到过吗?

微调中的模型遗忘现象:原因与解决方案 模型遗忘是微调过程中一个常见的问题,主要原因是参数更新导致知识丢失、学习率设置不当、数据分布差异和模型容量不足。通过使用LoRA、QLoRA、渐进式微调和多任务学习等方法,可以有效减少模型遗忘,提高模型在新任务上的性能,同时保持在预训练任务上的表现。 阅读详情

在AI训练中,是否遇到过多模态模型‘遗忘’原有语言能力的情况?模型回答不详细,文本理解力下降,让人头疼不已。360团队提出全新IAA结构,通过内部适配器巧妙处理多模态任务,在不修改语言模型参数的情况下,大幅提升视觉任务表现,保留原有NLP能力。

图片

引言:多模态模型开发被忽略的“遗忘”问题

在当前的多模态大模型(LMM)开发中,以LLaVA架构为代表的模型虽然在视觉任务上表现优异,但存在一个被广泛忽视的难题:内嵌语言模型在训练过程中容易发生“灾难性遗忘”。这种遗忘会显著削弱模型在文本任务上的表现,导致回答不详细、理解力下降。为了验证这一问题,研究团队在LLaVA-1.5的实验中发现,无论是基于Qwen2还是Llama3语言模型的架构,在训练前后的纯文本基准测试中得分均有显著下降。

图片

IAA: 无语言能力遗忘的多模态框架

导致“灾难性遗忘”的根本原因在于,为了提升多模态模型的视觉任务能力,内嵌语言模型在训练中必须参与调整,进而影响其原有的语言处理能力。尽管一些模型尝试整合纯文本数据来缓解这一问题,但效果并不理想。360团队为此提出了IAA(内部适配器结构),通过冻结语言模型参数,确保其原有能力不受损,同时显著提升模型的多模态处理性能。

图片

IAA结构可以让LMM同时运行两个独立的工作流:一个用于多模态交互,另一个用于纯文本对话。这种架构设计不仅保留了模型的NLP能力,还有效提升了多模态理解和视觉定位的性能。 多模态交互工作流包括以下三个部分:

  1. 图像编码器与MLP层:使用图像编码器(如CLIP或SigLIP)提取高质量的图像特征,并通过MLP层实现视觉与语言的对齐。
  2. 大语言模型:在训练期间保持冻结状态,以保留原有的语言处理能力。
  3. 内部适配器结构:包括插入层、嵌入层以及专为多模态输入设计的语言模型头。

纯文本对话工作流则仅包含原始的大语言模型,不添加其他特定的模块。

图片

为了进行更好的多模态训练,本文同时引入了新的嵌入层和语言模型头,这些同样由原始的语言模型对应的结构初始化而来。在所有的多模态训练阶段里,原始的语言模型保持固定,仅对新加入的结构进行训练。最终,本文选择了图3©中所示的结构,并将其命名为内部适配器结构(IAA)。实验结果验证了这种策略的有效性。

训练策略:两阶段预训练,确保稳定与精度

为了优化IAA的性能,360团队设计了一个两阶段的预训练策略。第一阶段专注于训练图像编码器与MLP投影层,以高学习率确保投影层质量。第二阶段则加入IAA结构,并降低学习率,精细调整模型。经过这一过程,IAA不仅在多模态任务中表现卓越,还成功避免了“灾难性遗忘”问题。

通用多模态实验评估

本文将对比方法分为两大类:一类是采用冻结语言模型进行训练的,另一类则是采用未冻结(即微调)语言模型进行训练的。为了进行深入的分析,360团队详细展示了每种方法所使用的数据集大小,以及它们所依赖的图像编码器、大语言模型等关键组件。通过比较,我们可以明显看出,360团队提出的方法在使用冻结语言模型训练的类别中展现出了显著的优势。这一结果表明,360团队的方法在保持模型原有能力的同时,还能有效提升其在多模态任务上的表现。

图片

纯文本评测实验评估

下图展示了不同模型在纯文本对话任务上的性能表现。从中可以清晰看出,IAA在处理纯文本对话时,成功保留了语言模型原有的对话能力。与此形成对比的是,开源的LMM,例如LLaVA-Llama3和LLaVA-v1.5,由于受到多模态数据的影响,其在纯文本对话任务上的表现有所下降。当面对相同的提问时,LLaVA-Llama3和LLaVA-v1.5给出的回答往往更为简短。这种现象与它们在训练过程中接触的大量多模态数据中文本长度普遍较短的事实密切相关。对大语言模型进行微调,尤其是在处理多模态数据时,可能会削弱模型深入理解内容并生成详尽回复的能力。因此,IAA的设计在保持模型对话质量方面显示出其独特的优势。

图片

样例展示

图片

IAA结构为解决多模态模型训练中的“灾难性遗忘”问题提供了一种有效的方案。通过冻结语言模型并引入适配器结构,IAA在保留语言模型原有自然语言处理能力的同时,显著增强了多模态理解和视觉定位能力。这一创新不仅为当前的多模态模型带来了性能提升,也为未来多模态模型的扩展提供了新的方向。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
大模型能力体检:从34个benchmark看真实工作流适配 大模型能力评估已超越简单跑分,进入可拆解、可验证、可映射到具体工作流的精细化阶段。其核心原理在于将复杂智能解耦为指令跟随、编程思维、知识调用、长上下文调度、多模态对齐、函数状态建模六大技术维度,每个维度对应特定benchmark的设计逻辑与原子级考核目标。例如,IFEval检验约束解析的零容错能力,SWE-bench Verified考察工程师全流程交付规范,Graphwalks分离图结构推理与上下文利用效率——这些并非学术指标,而是决定模型能否在写周报、修遗留bug、读科研PDF、处理航空订票状态跳转等真 阅读详情

相关推荐

QwenVL多模态模型LoRA微调实战:跨模态对齐与数据配比策略

多模态模型微调与纯文本微调有本质差异,核心在于跨模态对齐——让视觉特征与语言空间正确映射,而非简单灌输知识。LoRA作为参数高效微调技术,通过低秩增量矩阵在有限显存下调整模型行为,尤其适合视觉塔、连接器、语言塔结构异构的VLM场景。合理配置LoRA挂载位置(如连接器和前馈层)与秩参数,能显著提升领域任务准确率。在工业质检、图表理解、结构化输出等应用场景中,LoRA微调配合合理的数据配比和困难样本筛选,可有效控制误报率并保持通用能力不退化。本文以QwenVL技术栈为例,系统梳理跨模态微调原理、LoRA挂载策略

weixin_29531177的博客 141

ICLR2019 | 模型训练会发生了大量的、反复的样本遗忘现象,如何解决?

每天给你送来NLP技术干货!来自:SimpleAI标题:An Empirical Study of Example Forgetting during Deep Neural Networ...

zenRRan的博客 2008

模拟CMOS集成电路设计入门学习(1)

模拟CMOS集成电路设计入门学习(1):二级效应

qq_61052827的博客 3088

大模型知识遗忘问题

用nuscMQA数据集,采用LoRa微调Qwen2-VL,发现问什么问题,Qwen2-VL都会按照nuscMQA的Answer模板回答问题,丧失了原来的通用能力。

yuanl15的博客 661

Win10蓝屏代码critical process died的解决方法

critical process died”蓝屏错误是Win10操作系统中较为常见的问题之一。当遇到这一问题时,可以尝试通过修复当前系统、检查硬盘槽位或重新安装系统等方法来解决。本文详细介绍了这三种方法的操作步骤和注意事项,希望能帮助大家摆脱这一困扰。同时,也建议大家在日常使用中注意系统的维护和更新,以减少类似问题的发生。

mmoo_python的博客 9540

统信UOS/麒麟Kylin OS下利用pyenv实现Python多版本开发环境搭建指南

本文详细介绍了在统信UOS和麒麟Kylin OS国产操作系统下使用pyenv搭建Python多版本开发环境的完整指南。从系统环境准备、pyenv定制安装到Python版本编译实战,提供了针对国产CPU架构的特殊优化方案和常见问题解决方法,帮助开发者高效管理不同Python版本需求。

sea99的博客 1056

针对大语言推荐模型的精确高效遗忘学习

为解决基于大语言模型的推荐系统的遗忘学习问题,本文引入了适配器分区和聚合(APA)框架,可以在保持推荐性能的同时实现精确高效的遗忘学习。论文:arxiv.org/abs/2404.10327使用推荐数据对大语言模型进行参数高效微调(PEFT)已成为基于大语言模型的推荐系统(LLMRec)的基本范式。例如下图所示,TALLRec采用LoRA调优技术,通过指令数据中的推荐来使LLM与推荐任务保持一致。然而,其中包含用户数据引发了隐私问题。

xiangxueerfei的博客 1168

瑞芯微RK3576上手实测:8nm新U配6TOPS NPU,做AIoT项目选它还是RK3588/RK3568?

本文深度评测瑞芯微RK3576芯片在中高端AIoT项目中的表现,对比RK3588和RK3568的性能差异。RK3576采用8nm工艺,配备6TOPS NPU,在解码能力、AI推理效率和功耗控制方面表现均衡,是中端项目的黄金选择。实测数据显示其在多路视频解码和AI加速性能上优势明显,特别适合智能摄像头和工业HMI设备。

weixin_42627853的博客 721

大规模语言模型--灾难性遗忘

造成灾难性遗忘的一个主要原因是, 传统模型假设数据分布是固定或平稳的, 训练样本是独立同分布的, 所 以模型可以一遍又一遍地看到所有任务相同的数据, 但当数据变为连续的数据流时, 训练数据的分布就是非平稳的, 模型从非平稳的数据分布中持续不断地获取知识时, 新知识会干扰旧知识, 从而导致模型性能的快速下 降, 甚至完全覆盖或遗忘以前学习到的旧知识。灾难遗忘问题多年来一 直被人们所认识并被广泛报道,尤其是在计算机视觉领域,现在微调大语言模型也面临灾难性遗忘的问题,这个问题也出现在LLM微调和训练中。

Hanscal 2284

STM32F103C8T6驱动DM542步进电机:从CubeMX配置到按键控制的全流程避坑指南

本文详细介绍了如何使用STM32F103C8T6通过CubeMX配置驱动DM542步进电机的全流程,包括PWM频率计算、GPIO模式选择及按键控制实现。重点解决了常见硬件连接错误、PWM参数配置及加减速算法优化,帮助开发者快速搭建稳定的电机控制系统。

weixin_42741930的博客 308

告别信号干扰!手把手教你用INA333搭建高精度压力传感器电路(附PCB布线要点)

本文详细介绍了如何使用INA333仪表放大器搭建高精度压力传感器电路,解决工业测量中的信号干扰问题。从芯片选型、电路设计到PCB布线要点,全面解析INA333的低功耗、精密信号调理特性,并提供实用的抗干扰技巧和校准方法,助力工程师实现稳定可靠的传感器信号采集。

weixin_33738555的博客 570

GPT-4Turbo中文能力实测:SuperCLUE 98.4分背后的逻辑连贯性与文化理解力

大语言模型的中文能力,本质是语义建模精度与跨领域推理能力的综合体现。其核心原理在于长程注意力机制对上下文的动态权重分配、专业术语在概念网络中的精准锚定,以及对中文文化语境(如方言、网络梗、文学潜台词)的深度表征。这种能力带来显著技术价值:提升法律文书生成的合规可用性、增强教育问答的多轮跟踪深度、支撑金融/医疗等垂直场景的事实可追溯推理。典型应用场景包括跨境电商客服知识库升级、律所合同智能审查、职业教育课程自动化生成等。SuperCLUE评测正是以真实中文使用场域为标尺,验证模型是否具备‘像人一样思考’的语义

402

高分系列卫星轨道、传感器参数等信息

遥感卫星数据简介-高分系列

中遥科 3310

多模态大模型夜盲症揭秘:NightSight基准实测与低光视觉鲁棒性提升

视觉理解是人工智能感知物理世界的核心能力,其原理在于通过深度神经网络从图像中提取并融合语义特征。这一技术的价值在于赋能自动驾驶、安防监控、移动终端等关键场景的智能化决策。然而,当前主流模型在低光照、夜间等复杂光线条件下普遍存在严重的性能退化,即“夜盲”现象。这源于训练数据的严重偏差(以高质量白天图像为主)及视觉编码器对噪声、模糊等低阶特征提取的固有局限。针对此问题,构建涵盖物体识别、空间关系、时序推理等12类任务的专用评估基准至关重要,它能系统性诊断模型弱点。通过引入包含真实夜间视频的领域数据、设计去噪增强

weixin_33889245的博客 405

学Simulink——基于 Simulink 的 滑模控制(SMC)

本文详细介绍了基于Simulink的Buck变换器滑模控制(SMC)设计与实现方法。首先阐述了传统PI控制在负载突变时的不足,以及滑模控制具有强鲁棒性和快速响应的优势。通过建立Buck变换器的连续状态方程,推导了含积分项的滑模面和控制律,并采用边界层法抑制抖振。文章分步骤讲解了Simulink模型搭建过程,包括主电路、控制器实现和负载扰动模拟模块。仿真结果表明,在负载1A↔5A阶跃时,SMC控制输出电压波动仅0.08V,恢复时间0.35ms,远优于传统PI控制。同时给出了工程实践中的参数选择建议和数字实现技

amy_mhd的博客 254

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

多模态视觉大模型实战:从原理到微调与落地的完整指南

多模态技术让模型能够同时理解文本、图像、音频等多种信息,而视觉大模型正是其中落地最快、场景最明确的方向。从ViT到CLIP再到VLM,视觉语言模型通过统一语义空间实现跨模态理解,让复杂表格、手写票据、屏幕截图等场景不再依赖繁琐的传统规则。随着开源模型成熟、推理成本下降,多模态正从demo走向真实交付。无论是基于LoRA的视觉指令微调、多模态RAG检索,还是让Agent拥有“眼睛”的屏幕操作,开发者都需要掌握从模型选型、数据准备到训练调优、部署验证的完整链路。本文以工程实践为主线,梳理视觉语言模型的核心设计、

weixin_34197488的博客 436

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

2026年AI产品经理核心能力与职业发展指南

AI产品经理作为连接技术与商业的关键角色,需要掌握机器学习全生命周期管理能力。从数据采集清洗、模型选型到部署优化,每个环节都直接影响产品商业化效果。不同于传统产品经理,AI产品经理更注重技术指标与商业价值的转化,例如在智能客服场景中,响应速度优化可能比准确率提升带来更大的用户体验改善。随着AI技术向垂直领域渗透,联邦学习、模型解释性等技能将成为2026年岗位竞争的关键。对于转型者而言,通过Kaggle项目理解技术决策逻辑,并建立商业敏感度是快速入门的有效路径。

weixin_30952479的博客 275

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

从词向量到Transformer:大语言模型技术演进全景图

自然语言处理(NLP)的本质,是让机器从离散符号中提取语义并建模上下文关系。其技术路径历经规则驱动、统计建模、循环记忆到注意力机制四次范式跃迁——Word2Vec首次实现语义的几何化表达,使‘国王-男人+女人=女王’成为可计算事实;而Transformer通过自注意力机制打破序列依赖瓶颈,支撑起GPT系列的大规模认知涌现。这一演进不仅提升了文本生成与理解能力,更奠定了多模态融合与具身智能的底层架构基础。本文聚焦核心技术原理与工程实践断点,解析从向量空间构建到长程依赖建模的关键突破,为开发者提供可复现的语言模

weixin_33984032的博客 437

用Qwen3.8-Max打造商品资料包体检助手:多模态交叉校验实战

在电商运营中,商品资料包常由多份文档、表格和图片组成,字段分散且来源各异,人工核对极易漏掉跨文件矛盾。多模态大模型的出现,为信息抽取与一致性校验提供了新的解决路径。通过将文本、图片、扫描PDF等异构数据统一解析为结构化事实,再结合交叉校验规则,能够在上架前自动发现价格倒挂、规格冲突、图文不一致等隐患。这种基于大模型的智能体检方案,不仅能显著降低人工核对成本,还能提升商品信息的准确性和合规性。本文围绕电商资料包管理的痛点,从技术选型、系统架构到提示词设计,详细拆解了一个可复现的商品信息体检助手构建过程,为电商

weixin_33796177的博客 1064

随机鹦鹉:理解大语言模型的本质局限与工程应对

大语言模型(LLM)并非真正理解语言的‘学生’,而是基于统计规律进行文本续写的‘随机鹦鹉’。其核心原理是概率化词元预测,而非语义建模或因果推理;技术价值在于高效生成符合语法与风格的文本,但天然缺乏指称能力、世界模型和意图理解。典型应用场景包括代码辅助、内容生成与知识检索,然而在事实核查、逻辑推演与语境忠诚等任务中易暴露风险。本文聚焦‘随机鹦鹉’这一关键概念,结合‘LLM幻觉’‘事实一致性得分(FCS)’等热词,系统解析其认知断层与可落地的防御策略。

weixin_30363509的博客 453

韩语语音大模型评测基准:KVoiceBench、KOpenAudioBench与KMMAU深度解析

语音识别与语音大模型技术正朝着多语言、深层次理解的方向演进。其核心原理在于通过深度学习模型处理音频信号,将其转化为文本或更高阶的语义表示。这项技术的价值在于打破人机交互的语音壁垒,实现更自然、鲁棒的跨语言信息处理。其应用场景广泛,从智能助手、实时转录到多模态内容理解,均离不开对特定语言特性的精准建模。当前,评测基准的公平性与全面性成为衡量模型实际能力的关键,尤其对于英语之外的语言。本文聚焦韩语语音技术,深入探讨了针对其独特语言特性(如复杂的音韵规则和敬语体系)与真实应用场景(如噪声环境)而设计的评测基准套件

weixin_34110749的博客 416

AI全栈开发:从模型选型到业务落地的工程化实践

AI全栈开发已超越传统前后端叠加,演变为融合模型理解、数据工程、AI原生业务重构与人机协同设计的系统性能力。其核心在于将大模型、RAG、微调(如QLoRA)、向量检索等技术,置于真实约束(算力、数据质量、合规性、运维成本)下进行工程化取舍。例如,模型选择需兼顾场景适配性与TCO(总拥有成本),数据流须支持多模态统一治理与新鲜度分级,而业务逻辑则需拆解为可验证的能力单元。这种以交付确定性价值为导向的实践路径,正成为金融、政务、制造等领域AI规模化落地的关键范式。

weixin_34357436的博客 200

国产大模型实战评测:从API接入到本地部署的选型指南

大模型技术正加速渗透到智能客服、代码生成、文档分析等各类应用场景,开发者面临的核心问题已从“能不能用”转向“如何选型与落地”。理解不同模型的推理能力、上下文窗口、多模态支持与接口规范,是进行技术选型的基础。国产大模型生态呈现出开源本地部署与闭源API服务并存的格局,开源模型支持私有化部署以保障数据安全,闭源API则提供快速接入的便捷性。通过统一的OpenAI兼容接口,开发者可以低成本切换通义千问、DeepSeek、Kimi等主流模型。本文从实际开发视角出发,梳理六个评价维度,对比主流国产大模型的表现,并给出

weixin_34007886的博客 401

GPT-6 Sol & Luna 双模型深度评测报告

在技术选型的关键节点,面对市面上层出不穷的大语言模型,开发者往往容易陷入参数表的数字游戏。我们习惯了对比参数量大小、上下文窗口长度或是训练数据截止日期,却常常忽略了这些指标在实际业务场景中究竟意味着什么。当一个模型声称拥有强大的逻辑推理能力时,它在处理复杂的嵌套条件判断时是否真的可靠?当它展示多模态生成效果时,细节的还原度能否满足生产级需求?这些问题无法仅通过官方文档找到答案,必须通过真实的压力测试和场景化验证才能得出结论。对于一线工程师而言,选择模型不仅仅是选择一种工具,更是决定项目交付质量的上限。

叮当小宝CS 官方博客:只写能落地的 AI 客服实操。覆盖千牛、拼多多、抖音、京东、闲鱼、快手、微信七大平台的自动回复设置步骤、话术模板、知识库搭建方法与消息不回复的排查清单,帮中小卖家把重复咨询交给 AI,把时间和精力留给成交与复购。 244

AI大模型落地实战:七大技术瓶颈剖析与工程化解决方案

Transformer架构驱动的预训练大模型展现了强大的语言理解和生成能力,其核心原理在于通过海量数据学习概率分布以预测序列。这一技术为自然语言处理、智能对话和内容创作等领域带来了革命性价值。然而,在实际应用场景中,模型面临算力成本高昂、生成内容存在“幻觉”以及知识更新滞后等显著挑战。针对这些瓶颈,业界探索出检索增强生成(RAG)和模型量化等工程实践方案。RAG通过结合外部知识库有效缓解“幻觉”问题并实现知识动态更新,而量化技术则大幅降低了模型部署与推理成本,成为推动大模型从实验室走向产业落地的关键技术路径

cnvdkx2837的博客 452

GPT-4o:实时语音与多模态原生交互的技术本质

大模型交互正从‘请求-响应’范式迈向‘持续流式会话’新阶段。其核心原理在于端到端流式Transformer架构、跨模态时序对齐机制与动态稀疏推理技术的协同突破,显著降低语音延迟并提升多模态理解一致性。这一演进带来关键的技术价值:交互更自然、响应更稳定、成本更可控,支撑教育、客服、设计、医疗等场景中‘无感化’AI助手落地。尤其在实时语音交互与多模态原生能力上,GPT-4o已实现人类对话节奏级响应与视觉-语音-文本三角校准,标志着AI交互进入以用户意图为中心的新纪元。

weixin_34295316的博客 379
上一篇: 9行代码开发一个基于ollama的私有化RAG
下一篇: 从CLIP到EAGLE:英伟达如何优化多模态大模型的视觉编码器
冻感糕人~
博客等级 码龄3年 8926粉丝 2399原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值