大模型之二十一-小语言模型（SLM）赛道开启

已于 2024-02-20 23:04:37 修改
阅读量1.9k 收藏 24
点赞数 19
分类专栏： 神经网络&人工智能 文章标签： 语言模型 人工智能 自然语言处理
于 2023-12-21 18:00:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shichaog/article/details/135135713
版权

当前提到大语言模型，大家想到的都是动辄百亿规模以上参数量的模型，13B、70B都是稀疏平常入门级的，但是目前从模型层面来看，模型参数量的规模两极分化已经来临，早期各大公司为了效果怼上去，采取了简单粗暴的方法，那就是训练数据越多越好，模型越大越好，事实也确实证明这么发展的路子是对的，撇开医疗、法律等行业应用，但就模型层面多模态的趋势已经非常明显，这属于巨头企业、政府的菜，绝大部分公司还是围绕开源的10B左右做行业应用。模型规模层面接下来的另一个趋势是“小”，往“小”参数了的方向发展。
这一方向的践行者是微软和谷歌，从Phi-1开始，到这个月在Huggingface上发布的Phi-2，都显示着微软在这一方面的信心，从目前的结果来看，国内会有一批公司跟风，尤其是硬件公司也会跟风，就好比15年左右智能音箱刚出来的时候一样，一批硬件公司会涌入这里，包括手机、手表、pc等移动设备。

小语言模型赛道已经开启

Google于12月初发布了Gemini模型，相比我8月份的博客《大语言模型之五 谷歌Gemini》，谷歌不仅仅是给了对标OPenAI的大模型，还给了Gemini Nano小模型，该模型参数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI Agent未来走向何方？
ZJQ的博客
02-14 148
AI应用未来走向何方？ AI推理支撑应用开发走向新赛道 智能体成为AI应用的主流形式 大模型应用正以AI Agent的主流形式赋能终端设备 从大到小AI模型发展从通用转向垂直:小型语言模型(SLM)
「从零入门推荐系统」21：chatGPT、大模型介绍
大数据与人工智能
07-18 1954
作者|gongyouliu编辑 |gongyouliu自2022年11月30日OpenAI发布chatGPT以来，大模型技术掀起了新一轮人工智能浪潮。chatGPT在各个领域（包括对话、摘要、内容生成、问题解答、识图、数学计算与推理、代码编写等）取得了比之前算法好得多的成绩，很多方面都超越了人类专家的水平，特别是对话交流具备了一定的共情能力，这让AI领域的工作者和普通大众相信AGI（Arti...
langchain结合智谱slm大模型操作数据库
最新发布
xujun738的专栏
03-18 234
本文介绍如何使用langchain结合大模型操作数据库
14-3 LLM vs SLM 大模型和小模型的对比
ms44的专栏
06-27 1286
语言模型是能够生成自然人类语言的人工智能计算模型。这绝非易事。这些模型被训练为概率机器学习模型——预测适合在短语序列中生成的单词的概率分布，试图模仿人类智能。在展现人类智能方面，当今自然语言处理 (NLP)领域的前沿人工智能模型尚未通过图灵测试。（如果机器无法辨别通信是来自人类还是计算机，则机器通过了图灵测试。特别有趣的是，我们已经非常接近这个标记：当然是被大肆宣传的大型语言模型 (LLM) 和有前途但不那么被大肆宣传的 SLM。（SLM 可以代表小型语言模型或短语言模型。
小语言模型（SLM）技术解析：如何在有限资源下实现高效AI推理
TuFuir的博客
03-13 1604
参数规模小：通常参数在1亿至100亿之间，远低于LLM的千亿级规模。高效推理：延迟低至毫秒级，适合实时场景（如智能客服、边缘设备）。经济环保：训练能耗降低80%，碳排放减少50%。// 定义SLM结构：双向LSTM + 注意力池化// 嵌入层// BiLSTM// 注意力池化// 输出层// 训练代码小语言模型不仅是技术优化的产物，更代表了一种“轻量化AI”的开发哲学。对于Java开发者而言，掌握DL4J、ONNX Runtime等工具，将助力在资源受限环境中实现高效AI推理。
解读小模型——SLM
Java_fenxiang的博客
12-09 874
【引】如果希望从文献途径了解一个新的领域，该领域的相关survey 论文可能是一个较好的切入点，对于日新月异的AI领域尤其如此。”Small Language Models: Survey, Measurements and Insights”一文(https://arxiv.org/pdf/2409.15790)或许可以...
小语言模型（SLM）介绍
第欧根尼的酒桶的博客
03-04 3734
大型语言模型（LLM），如GPT、Claude等的出现，证明了它们是人工智能领域的一项变革性步伐，彻底革新了机器学习模型的强大性质，并在改变AI生态系统中发挥了重要作用，促使生态系统中的每个成员都必须适应这种新的强大架构，做出动态变化。然而，部署这些模型，尤其是当它们的参数达到数十亿时，是非常复杂且具有挑战性的任务。通常，大型语言模型需要大量的计算和能源，以及显著的内存容量。
高性能小模型SLM最新优化方案和热门应用盘点，附配套模型和开源代码
学姐带你玩AI的博客
01-16 2374
本文介绍了TinyLlama小型语言模型，该模型在大约1万亿个标记上进行了约3个周期的预训练，具有紧凑的1.1B参数规模。TinyLlama基于Llama 2（Touvron等人，2023b）的架构和分词器构建，利用了开源社区贡献的各种先进技术（例如FlashAttention（Dao，2023）），实现了更好的计算效率。尽管其规模相对较小，但TinyLlama在一系列下游任务中表现出色，显著优于现有规模相当的开源语言模型。
一文读懂主流领先的 SLM（小型语言模型）
m0_59235699的博客
06-13 3872
随着 LLM （大型语言模型）技术的快速发展,越来越多的开发者和组织开始尝试将其应用于实际场景。然而，这些庞大的模型往往存在着计算能力和内存占用高昂的问题，这限制了它们在一些特定环境下的应用性。这就为 SLM （小型语言模型）提供了机会，成为一种更加高效和可访问的替代方案。与拥有数千亿甚至数万亿参数的 LLM 相比，SLM 的参数量通常在几百万到几十亿之间，大幅减小了模型的体积和复杂度。
【大模型理论篇】模型蒸馏、大模型变小、移动端小规模大模型SLM、小模型趋势讨论
源泉的小广场
11-05 1768
大模型、大模型蒸馏、知识蒸馏、小模型压缩、大模型尺寸、边缘部署、小模型推理、小模型性能、SLM、知识、logits、软目标、师生模型、teacher-student model、gemma、量化蒸馏、自然语言处理、基于响应知识蒸馏、基于特征知识蒸馏、基于关系知识蒸馏
轻薄本也能跑的RAG大模型？LLamaIndex+Ollama+phi搭建本地大模型
qq_35328355的博客
07-09 2198
最近，AI大模型又卷到小型机赛道上。各大公司都在加紧研发能在家用机器即可运行的“小模型”，旨在让大模型真正进入我们日常生活中。RAG作为一门最近新兴的技术，在知识检索上有着传统大模型不可比拟的优势，应用前景十分广阔。目前，很多基于RAG的应用如雨后春笋般涌现，在企业和个人中用途广泛。前不久B站就有一位三国历史热爱者做了一个历史RAG，满足他了解历史的需求。
大模型常识：什么是大模型/大语言模型/LLM
qq_25438419的博客
02-17 1095
大家或多或少都听过 ChatGPT 是一个 LLMs，那 LLMs 是什么LLMs 全称是 Large Language Models，中文是大语言模型。语言模型简单说来，就是对人类的语言建立数学模型，注意，这里的关键是数学模型，语言模型是一个由数学公式构建的模型，并不是什么逻辑框架。这个认知非常重要。最早提出语言模型的概念的是贾里尼克博士。
基于Geoda的经典空间回归模型（OLS）、空间误差模型（SEM）和空间迟滞模型（SLM）
Lyon_Zhang的博客
07-06 1万+
最近在网上搜索有关空间误差模型的方法，看到的最多的就是https://editor.youkuaiyun.com/md/?not_checkout=1&spm=1001.2014.3001.5352链接下的经验分享，分享的内容很简洁，操作步骤很简单，但是有些细节可能没有讲到，我想通过一个案例对该方法进行充实一下。学习和整理期间也参考了一些书，在中国知网上搜索、下载和学习了一些文章，引用文献放在本文的最后。本文在这里不做方法原理的探讨，主要想解决三个方面的问题：①分析的流程；②模型的选择；③参数解释。...
【小模型】2024属于小模型！高性能SLM最新优化方案和热门应用分享，附配套模型
wzk4869的博客
01-16 3614
【小模型】2024属于小模型！高性能SLM最新优化方案和热门应用分享，附配套模型
空间自回归模型-OLS、SLM、SEM理解
热门推荐
weixin_46116695的博客
11-06 4万+
先Po上空间自回归模型方程的公式 【翻了好多资料，还是觉得直接耐着心从公式入手理解的最到位了，其中可能会有计量经济学或者统计学上的术语不太好理解，我统一放到了文末一块解释~】 y=ρW1y+βx+ε，ε=λW2ε+μ 【首先明确：OLS、SLM、SEM都是基于上面这个方程得出的，不同系数对应的不同情况形成了不同的空间自回归模型。】 OLS（普通线性回归模型） （不得不说每个模型的命名提示性还蛮大） 【其次，OLS与SLM、SEM两个模型的区别在于，OLS是单纯的线性数量关系*（其实就是我们平常最.
LLM大模型理论基础(so-large-lm)课程笔记！（附资源）
pythonhy的博客
06-13 525
在当前信息时代，大型语言模型（Large Language Models，LLMs）的发展速度和影响力日益显著。随着技术进步，我们见证了从基本的Transformer架构到更为复杂和高效的模型架构的演进，如Mixture of Experts (MOE) 和Retrieval-Augmented Generation (RAG)。
SLM 如何在推理任务中击败大型模型
star_nwe的博客
12-30 1211
通过将。
大小语言模型对比分析及启示
m0_59235245的博客
08-02 1173
过去一年多来，大语言模型（LLM）从 GPT-3.5、GPT-4 到 Llama等开源模型,一直备受关注。然而，近期一些迹象表明，小语言模型（SLM）正逐渐获得越来越多的重视，微软、GOOGLE等AI领域的大佬们纷纷开始下注小语言模型。出现这一趋势的原因何在，将给运营商带来哪些启示？LLM （大语言模型）的参数数量可以达到数千亿甚至数万亿。而SLM(小语言模型) 通常具有数亿或数十亿个参数，SLM 的训练和运行所需的时间和资源要少得多，这使得它们更加适合于资源有限的设备和应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shichaog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值