小模型的优势越来越明显了

公众号-芋道源码 公众号-芋道源码 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 100平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
转载 最新推荐文章于 2026-04-10 16:13:50 发布 100 阅读 AI 写同款· GEO 优化 ›
【DeepSeek】DeepSeek小模型蒸馏与本地部署深度解析DeepSeek小模型蒸馏与本地部署深度解析 知识蒸馏是一种模型压缩和加速的方法，旨在将大型、复杂的模型（教师模型）的知识转移到小型、高效的模型（学生模型）中。这一技术的核心思想是利用教师模型的输出（如软标签）来指导学生模型的训练，从而在保持较高性能的同时，显著减少模型的计算资源和存储需求。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑，欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料： 

c3e2cc38dbc16489885cad5a67a7a3f3.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目，前端包括管理后台 + 微信小程序，后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、CRM 等等功能：

  • Boot 仓库：https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库：https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程：https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源：AI大模型实验室

b1f3c61618503882bdaf52ed0df2e378.jpeg

在这场关于 AI 的竞争中，科技巨头们一直在争相开发更大的语言模型，不过现在出现了一个新趋势：在这场大小的较量中，小型模型正逐渐占据上风 。随着 LLM 的发展逐渐趋于平稳，研究者和开发者开始更多地关注小语言模型（SLM）。这些小巧、高效并且适应性极强的 AI 模型正在挑战着之前『越大越好』的旧观念。这一转变预示着我们将以新的方式来开发 AI 技术。

LLM 是否开始趋于稳定？

近期 Vellum 与 HuggingFace 发布的性能对比数据显示，不同 LLM 间的性能差异正在迅速缩小 。这一趋势在处理多项选择、推理及数学问题等特定任务时尤为明显，顶尖模型间的表现差异已微乎其微。例如，Claude 3 Opus、GPT-4 和 Gemini Ultra 在多项选择题上的得分均超过 83%，而在推理任务中，它们的准确率甚至超过了 92%。

令人称奇的是，一些较小的模型如 Mixtral 8x7B 和 Llama 2 - 70B 在某些领域表现同样出色，甚至在推理和多项选择题中表现要优于一些大型模型。这表明模型的大小并非性能的唯一决定因素，模型的架构、训练数据及微调技术也同样重要 。

关于最新的 LLM，近期的研究论文均显示出一个共同的趋势。Uber AI 前负责人、《Rebooting AI》作者 Gary Marcus 在接受 VentureBeat 采访时表示：“从经验上看，最近的十几篇论文基本上都与 GPT-4 处于相同的水平。其中一些模型的表现略优于 GPT-4，但并没有实现质的飞跃。大家普遍认为，GPT-4 相较于 GPT-3.5 已经是一个巨大的进步。但在过去的一年多时间里，并没有出现任何革命性的突破。”

随着性能差距的不断缩小，更多的模型展现出竞争力，这不禁让人思考：LLM 的发展是否真的已经进入了稳定期？如果这种趋势持续下去，可能会对未来语言模型的开发和部署产生深远的影响，开发者可能会从单纯增大模型尺寸转向探索更高效、更专业化的架构。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址：https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程：https://doc.iocoder.cn/video/

LLM 的缺点

尽管 LLM 功能强大，但它们也存在一些明显的缺陷。首先，训练 LLM 需要大量的数据，其参数可达数十亿乃至数万亿，这让训练过程变得极其耗费资源。同时，训练和运行 LLM 所需的计算力和能源消耗也是极为惊人的，由此带来的高昂成本使得小公司或个人难以参与到核心 LLM 的开发中。OpenAI CEO Sam Altman 在去年的 MIT 一次活动中提到，仅训练 GPT-4 的成本就至少需要 1 亿美元。

此外，操作 LLM 所需的工具和技术复杂性高，开发者需要克服陡峭的学习曲线，这进一步限制了其普及性。从训练到构建及部署模型，开发者需要经历很长一段时间，这也减慢了开发和实验的步伐。最近剑桥大学的一篇论文表明，公司部署一个机器学习模型可能需要 90 天甚至更长的时间。

LLM 容易产生所谓的 “幻觉”，即生成看似合理但实际并非真实的输出，这是因为 LLM 在训练时是基于训练数据中的模式预测下一个最可能的词，而非真正理解信息。因此，LLM 可能会自信地产生不真实的陈述，编造事实或将不相关的概念结合在一起，形成毫无意义的内容。发现并减少这些幻觉是开发可靠和值得信赖的语言模型的持续挑战。

Marcus 警告说：“如果你用它来处理高风险问题，肯定不希望因此侮辱客户，传递错误的医疗信息，或在驾驶时冒险。”

LLM 的规模和不透明性也使得它们难以解释和调试，这对于建立对模型输出的信任极为关键。训练数据和算法的偏见可能导致不公正、不准确甚至有害的输出。正如 Google 的 Gemini 所展示的，让 LLM 变得 “安全” 和可靠的技术也可能降低其效能。此外，LLM 的集中化特征也引起了人们对权力和控制权集中在少数几家大型科技公司手中的担忧。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址：https://github.com/YunaiV/yudao-cloud

  • 视频教程：https://doc.iocoder.cn/video/

小语言模型（SLM）

让我们来看看 SLM。相较于 LLM，SLM 参数更少，设计更简洁 。它们所需的数据和训练时间大大减少 —— 只需几分钟或几小时，而不是几天。这一特点使得 SLM 在小型设备或现场直接部署变得更加高效和简单。

SLM 的一个主要优势是它们适合特定的应用场景。因为 SLM 的关注点更集中，所需数据较少，这使得它们比大型通用模型更容易针对特定领域或任务进行精细调整。这种定制化使得企业能够开发出适合自身特定需求的高效 SLM，例如进行情感分析、命名实体识别或针对特定领域的问题解答。SLM 在这些特定应用中的专业性能够提升性能和效率。

SLM 在隐私和安全方面也显示出了明显的优势。它们的代码基础较小，结构简单，更易于审核，不太可能隐藏未预见的安全漏洞。这使得 SLM 特别适合处理敏感数据的场景，如医疗或金融领域，因为数据泄露可能导致严重的后果。此外，SLM 较低的计算需求使其更适合在本地设备或企业服务器上运行，而非依赖云服务，这种本地处理方式能进一步提升数据安全性，减少在数据传输过程中的风险。

SLM 在其特定领域内不太可能出现检测不到的错误输出。它们通常针对特定领域或应用的较窄数据集进行训练，有助于模型学习最相关的模式、词汇和信息。这种集中关注降低了生成无关、出人意料或不一致输出的可能性。由于参数更少，结构更优化，SLM 在训练数据中捕捉和放大噪声或错误的可能性也较低。

HuggingFace CEO Clem Delangue 指出，多达 99% 的使用场景可以通过 SLM 来解决，并预测 2024 年将是 SLM 元年 。HuggingFace 允许开发者构建、训练和部署机器学习模型，该公司今年早些时候与 Google 建立了战略合作关系。合作后，他们将 HuggingFace 整合进 Google 的 Vertex AI，使开发者能够通过 Google Vertex Model Garden 迅速部署成千上万的模型。

Gemma

在最初与 OpenAI 在 LLM 方面竞争失败后，Google 正大力发展 SLM。今年二月，Google 推出了 Gemma 系列模型，这些模型设计更为高效和用户友好。Gemma 模型可以轻松运行在各种日常设备上，如智能手机、平板电脑和笔记本电脑，无需特殊硬件或复杂优化。

自 Gemma 发布以来，其在 HuggingFace 的下载量已超过 400,000 次，一些激动人心的项目也随之浮现。例如，Cerule 结合了 Gemma 2B 与 Google 的 SigLIP，它在庞大的图文数据集上训练，通过高效的数据选择技术，展现了无需大量数据或计算就能达到高性能的可能，特别适合新兴的边缘计算场景。

另一个案例是 CodeGemma，这是 Gemma 的一个专注于编程和数学推理的版本。CodeGemma 提供了三种不同的模型，针对不同的编程活动，使开发者能更高效地使用先进的编程工具。

SLM 的变革性潜力

随着 AI 界不断挖掘小型语言模型的潜力，其快速的开发周期、高效的运行效率及针对特定需求的定制能力的优势愈发明显。SLM 正赋能各行各业，使 AI 技术的应用更加民主化，并推动创新。SLM 在边缘计算中的部署开辟了在金融、娱乐、汽车系统、教育、电商和医疗等多个领域中，实现实时、个性化和安全应用的新可能。

通过本地处理数据，减少对云计算基础设施的依赖，边缘计算搭配 SLM 能够实现更快的响应时间、更好的数据隐私保护和更优的用户体验。这种去中心化的 AI 技术应用方式将彻底改变企业和消费者与技术的互动方式，为现实世界带来更个性化、更直观的体验。面对计算资源的挑战和可能的性能瓶颈，SLM 的兴起预示着 AI 生态系统将以惊人的速度持续演变。

原文：https://venturebeat.com/ai/why-small-language-models-are-the-next-big-thing-in-ai/

欢迎加入我的知识星球，全面提升技术能力。

👉 加入方式，“长按”或“扫描”下方二维码噢：

e212406f40f848c1216bc200dc78fdfa.png

星球的内容包括：项目实战、面试招聘、源码解析、学习路线。

589034cbdd64fe3c80358463a7d0bfba.png

90f0900f727ae3b27c992352ee186a88.png9b592232a84bd583d060d9cee501c924.pngf7827ebf04ef75f577248df2c4b5aae0.png1e47ecbc7dee139d011fb7115972ea70.png

文章有帮助的话，在看，转发吧。
谢谢支持哟 (*^__^*）
原文链接：https://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247595151&idx=2&sn=8d9208307b6416c0a28dd9da87c3bb72&chksm=fb00a175fb2d5c15560f8fc4c2aa2bce7b88ea30b1f2d190799aca883f944b8b72f508fae9ac&scene=126&sessionid=0>
极客说｜微软 Phi 系列小模型和多模态小模型 作者：胡平 -微软云人工智能高级专家「极客说」 是一档专注 AI 时代开发者分享的专栏，我们邀请来自微软以及技术社区专家，带来最前沿的技术干货与实践经验。在这里，您将看到深度教程、最佳实践和创新解决方案。关注「极客说」，与行业顶尖专家一起探索科技的无限可能！ 阅读详情

相关推荐

通用性技术底座AI大模型与各行业专用性AI小模型搭建（第一篇）

行业专用性AI小模型：- **特点**：这些模型针对特定行业或具体业务需求进行设计和训练，其规模可能相对较小，但对特定问题有更高的精准度和专业性。例如医疗影像诊断模型、金融风控模型、法律文档分析模型等。- **优势**：因为专注于某一特定领域，所以对这个领域的专业知识掌握更深入，能够捕捉到领域内的细微差异和复杂关系，提供更为精确的服务。- **应用场景**：主要应用于专业化程度高、需要深度行业知识和经验的场景，如病历分析、股票走势预测、合规文件审核、产品推荐等。

初心不忘产学研的博客 4665

LLM 时代小模型的应用情况分析

小语言模型（Small Language Model，SLM）又被称作专业大模型（Specific Language Model，SLM），是指相对于大型语言模型而言，规模较小、参数数量较少,但在特定任务上表现出色的模型。•从参数数量上来看大模型通常指具有百万级、千万级甚至亿级参数的神经网络模型，如：GPT-3 为 175B、ERNIE 4.0 (百度) 为 100B 等。小模型相对于大模型参数数量较少，如：MobileLLM 为 125M、 Phi-3 为 3.8B 等。•从训练数据量来看。

2401_84495872的博客 1880

手把手教你设计2bit反射型超表面：从单patch扫参到pin管配置全流程

本文提供了一份2bit反射型超表面设计的完整工程实践指南。从单贴片谐振器的参数化扫描与“270度法则”应用，到PIN二极管等效电路模型的获取与集成，再到利用参数化扫描高效仿真四种工作状态，手把手指导读者完成从单元设计到阵列布局、偏置线集成及加工考量的全流程，旨在帮助射频工程师将概念转化为可加工测试的实体模型。

java5的博客 1022

【小模型】2024属于小模型！高性能SLM最新优化方案和热门应用分享，附配套模型

【小模型】2024属于小模型！高性能SLM最新优化方案和热门应用分享，附配套模型

wzk4869的博客 4282

IPMItool 控制风扇转速

然后手动设置风扇，最后一位0x1e为设置30%的转速（16进制）。最后4位 0x0f 表示15%，0x0a，表示10%，不建议小于10%，因为10%已经很静音了 如果再小怕不能控温，烧毁硬件。首先停止服务器的自动风扇控制，最后一位0x00表示停止自动风扇控制，0x01为开启自动风扇控制。首先开启主板上的ipmi 设置好 用户名密码。此过程可以在网上搜索，有很多的资料可以参考。解压只有在目录里面有ipmltool。下面是一些常用的修改温度命令。

m0_37970303的博客 5061

Confluence安装Drawio插件

记录confluence安装drawio插件步骤

devotedwife的博客 7379

大模型能否替代小模型，大模型与OCR小模型的优势对比

大型语言模型和专业OCR技术各有所长：LLM擅长文本理解和生成，而专业OCR在小规模数据精准识别方面表现更优。两类技术并非替代关系，而是互补协同——OCR负责前端数据精准提取，LLM负责后端深度分析。

weixin_45477185的博客 983

AGX Orin设计-外围电路设计之一

AGX ORIN是英伟达Jetson系列中算力规格最高端的模组，其高达200TOPS/275TOPS的算力可以为各类场景提供澎湃的算力支持，本篇文章针对AGX ORIN的常规外围电路设计做分析描述。

zhiyuchenkeji的博客 4479

大模型 VS 小模型

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

star_nwe的博客 1335

华为OD新系统机试真题 - 配置操作失败数量统计

华为OD机试新系统 4月8号【配置操作失败数量统计】，提供C语言、Java、C++、Python、Go、JavaScript源码实现，并提供完整思路讲解，以及在线OJ模拟做题。华为OD机试真题【配置操作失败数量统计】。

qq_45776114的博客 1161

语义分割（Semantic Segmentation）近年发展综述

目标：为图像中每个像素分配一个语义类别标签（如“道路”、“行人”、“天空”），不区分同类实例。关键挑战精确边界恢复（高空间分辨率）全局上下文理解（大感受野）计算效率与精度平衡小样本/弱监督泛化语义分割的十年演进，是一条从专用→通用、封闭→开放、慢速→实时、像素→语义2015：FCN/U-Net 奠基；2018：DeepLabv3+/PSPNet 实现高精度；2020：HRNet+OCR 登顶竞赛；2021：SegFormer 开启 Transformer 新纪元；2023+

浩瀚之水的专栏 978

【机器学习&深度学习】量化与选择小模型的区别：如何理解两者的优势与局限？

【没有最好，只有最合适】 量化是让巨人穿上跑鞋，小模型是培养灵活的短跑选手。当你的应用需要： 保留复杂能力 → 量化大模型 极端资源限制 → 设计小模型 鱼与熊掌兼得 → 小模型+量化 理解这一本质区别，就能在算力与智能的平衡木上走出最优路径。未来的赢家，属于那些能精准匹配模型能力与硬件边界的AI工程师。

qq_62223405的博客 1876

开源数字人、虚拟直播部署教程

对，你无看错，是欧美的。在直播带货案例里，我们把模型导入到ue4，我们给模型在ue4里预设了四个动作（站着、站着说话、坐着、坐着说话），三个表情（平静、开发、愤怒），三个镜头（全局、近矩说话、看显示器播放商品展示）。我们只需要把目标主播的直播给录制下来，提取样本数据，然后训练一个从粉丝的不同刺激的组合，到主播的不同响应方式的多元逻辑回归的数学模型参数即可。

南七小僧的学海无涯 4561

【为什么 LLM 小模型在这些看起来很基础NLP一下高价值的任务上，依然有本质优势】

传统 NLP 擅长“固定问题的稳定解”，LLM 小模型擅长“变化问题的低成本演化解”。用一个你熟悉的传统 NLP 任务，帮你做一次“传统方案 vs 小模型方案”的工程级对比或帮你画一张“传统 NLP → 小模型 LLM 的平滑迁移架构图”

一休 703

BLDC控制实验：方波、霍尔、开环、定速、正转

本文记录博主学习BLDC控制软件的过程。 文章目录1 概述2 软件架构及工具链2.1 软件架构2.2 工具链3 底层代码生成3.1 时钟配置3.2 按键输入配置 1 概述 本文是博主第一次做BLDC控制实验，目的仅仅是写代码让BLDC转起来，而暂时不考虑其他复杂的需求。 控制的方法是比较简单的六步换相法。利用电机内部的霍尔传感器，通过参考电机厂家给出的二二导通换相表，生成方波来控制电机。第一次实验为了简化需求，只考虑开环、定速、正转的情况： 开环：不考虑速度反馈，直接给PWM让电机转起来； 定速：不考虑速

u013288925的博客 1万+

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制

快速集成和调用小模型

快速集成指的是将一个训练好的小模型迅速地嵌入到现有系统或新系统中的过程。快速调用则是指在应用运行过程中，能够高效地调用小模型进行推理或预测。小模型的快速集成和调用可以显著提升应用的性能和响应速度，而大模型调用小模型则可以在复杂系统中发挥各自的优势。通过实际案例，我们可以看到这种方法在实际应用中的巨大潜力。

chen的博客 1346

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用

大模型与小模型

这篇文章我们简单讨论下小模型的作用。首先，我们思考一个问题，为什么 qwen2 基本上是当下最受欢迎的开源模型？说实话，相比于 deepseek、llama、minicpm 这些诚意满满的技术报告，qwen2 的技术报告稍显一些“小家子气”，并没有提及到关键的技术细节。然而，qwen2 提供给开源社区的“全家桶”套餐，又是多长的技术报告也比不上的。

m0_65555479的博客 1197

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

小模型也能COT

前两章我们分别介绍了COT的多种使用方法以及COT的影响因素。这一章更多面向应用，既现实场景中考虑成本和推理延时，大家还是希望能用6B的模型就不用100B的大模型。但是在中反复提到不论是few-shot还是zero-shot的思维链能力似乎都是100B左右的大模型才有的涌现能力，而在小模型上使用COT甚至会带来准确率的下降。至于为啥小模型无法进行COT，论文[5]通过把小模型回答错误但大模型可以回答正确的问题进行归纳总结，认为小模型的COT能力受到有限的语义理解和数学计算能力的限制。

2401_82469710的博客 1523

看看KIMI怎么说-分析一下市场上大企业对小模型的需求

小模型能够在智能手机、平板电脑、智能音箱、智能灯泡、智能门锁等移动设备和物联网设备上运行，实现语音识别、自然语言处理、设备控制等功能，为用户提供沉浸式的智能体验，推动智能家居、智能穿戴、智能交通等领域的发展。：一些行业领先的大企业已经在小模型的应用方面取得了显著的成果，成为了行业的标杆和示范。这些企业的成功案例吸引了其他企业的关注和效仿，促使更多大企业认识到小模型的价值和潜力，并积极投入到小模型的研发和应用中，以跟上行业发展的步伐，避免在数字化转型和智能化升级的浪潮中落后于竞争对手。

释迦呼呼的博客 990

如何基于深度学习大模型开展小模型的研发，如何把大模型和小模型相结合？

这包括收集与目标任务相关的数据集，对数据进行初步的标注和分类，然后进行去重、去噪和格式化处理，确保数据的质量和一致性，为后续的小模型训练提供可靠的基础。我们将分析大模型和小模型在特征提取和分类任务中的表现差异，以及如何通过模型压缩和量化技术提升小模型的效率，最终实现在大模型支持下的小模型高效应用。迁移学习的基本原理在于利用在大规模数据集上预训练的深度学习模型，提取通用特征表示，然后将这些特征迁移到新的小规模任务中，以减少对新数据集的标注需求和学习时间，从而提高小模型的性能。

1223

探讨：自蒸馏相较于普通知识蒸馏与小模型的优势究竟在何处？

知识蒸馏是一种模型压缩技术，其中一个较大的、训练好的模型（教师模型）被用来训练一个较小的模型（学生模型）。通过这种方式，学生模型学习到的教师模型的知识，其参数数量较少。（2）

weixin_46573159的博客 1955

现阶段对于大模型和小模型的思考。

大模型和小模型各有优势，并非替代关系。大模型在复杂推理任务上表现优异，但存在技术垄断风险和高昂成本；小模型在专精任务、实时性、隐私保护及性价比方面更具优势，仍是大多数商业应用的首选。未来趋势是大小模型协同工作，大模型作为"大脑"处理复杂指令，小模型作为"手脚"执行具体任务。90%的商业场景仍以性价比更高的小模型为主，大模型仅用于小模型无法解决的复杂任务。

DATABALL 的博客 995
上一篇： 四种 API 架构风格
下一篇： Google Reader 被 “代码屎山” 杀死
点赞 0
评论 0
书签 书签 0
公众号-芋道源码
公众号-芋道源码
博客等级 码龄10年 1631粉丝 377原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值