大模型基础——大模型背后的范式

最新推荐文章于 2025-11-27 14:26:48 发布
原创 最新推荐文章于 2025-11-27 14:26:48 发布 · 177 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #chatgpt

部署运行你感兴趣的模型镜像

大模型这套先用大量数据预训练（采用无标注数据进行无监督训练），再在遇到任务时，使用任务包含的内容模型进行微调，去除掉与任务无关的知识，留下与任务相关的知识，然后再生成结果。这样效果往往很好。

这样的原理其实就是迁移学习，很像我们人类在学习了很多知识之后，遇到问题，会想起跟这个问题相关的知识，然后依据这些知识去解决问题

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

大模型应用——文档图像大模型的思考与探索
01-07 1万+
GPT4-V多模态大模型大幅度提升了AI技术在文档分析与识别领域的能力边界，端到端实现了文档的识别到理解的全过程。并且提供了一条研发新范式：“大数据、大算力、多任务、端到端。像篡改检测、文本分割擦除这样像素级的任务，GPT-4V大模型处理的并不好，虽然它在文档解析和识别领域的能力已经具备，但较之于SOTA方法来比较，性能还是有待提升。GPT-4V这样多模态大模型的强项在于信息抽取和理解认知层面，这一特点在经过有效利用后，可以大幅提升该研究领域的天花板。1.机遇与挑战。
大模型系列——IDEA+通义灵码+DeepSeek 编程超级王炸
2401_84052244的博客
02-21 7223
坐我旁边的同事体验了一早上，直言这是他用过最聪明的 AI 编码助手了，还不用充值购买 DeepSeek API 的 tokens（纯白嫖），强烈要求我写个手摸手的教程，给大家普及一下。除了解释一个完整的类，每个方法的左上角也会有一个通义灵码的小图标，点击它，就可以调出“解释代码”、“优化代码”、“生成单元测试”等功能，非常方便。比如说，当你不知道 nohup 命令运行 jar 包的完整命令，就可以这样做，然后补齐完整的命令后，直接运行，不用再切换到终端窗口了。阿里云靠开源，把自己送上了这个生态的核心位置。
大模型基础——大模型范式
qq_37907454的博客
10-20 459
对于预训练模型，最核心的要素是从无标注的数据中去学习，通过自监督的一些任务去做预训练，得到丰富的知识。在具体的应用中，会引入一些任务相关的数据，去调整模型；相当于在这个已经预训练训练好的模型上（获得通用知识），引入任务相关数据，对具体的任务去进行一些适配，最终得到一个解决具体任务额模型。最早追溯到transfer learning 迁移学习，某种程度上，预训练模型就是在做一个transfer learning。为什么采用上面“预训练+微调”的范式？
ChatGPT学习笔记——大模型基础理论体系
GUANYX的博客
01-03 2373
在文本预训练的基础上，ChatGPT 的基础大模型采用 159G 的代码进行了继续预训练，借助代码分步骤、分模块解决问题的特性，模型涌现出了逐步推理的能力，在模型表现上不再是随着模型规模线性增长，有了激增，打破了 scaling law；稀疏化将大量的冗余变量去除，简化模型的同时保留数据中最重要的信息。： ChatGPT 通过基于人类反馈的强化学习使模型的生成结果更符合人类预期，然而这也导致了模型的行为和偏好一定程度上反映的是标注人员的偏好，在标注人员分布不均的情况下，可能会引入新的偏见问题。
大语言模型——语言模型的发展历程
weixin_43915730的博客
04-16 1834
语言模型的发展历程
TPAMI 2025 —— 视觉基础大模型综述与展望：定义视觉新时代的基础模型
u014546828的博客
03-12 2655
本综述系统梳理了此类新兴基础模型的研究进展，涵盖多模态融合（视觉、文本、音频等）的典型架构设计、训练目标（对比学习、生成式学习）、预训练数据集、微调机制以及文本、视觉和异构提示范式等核心要素。通过系统性综述基础模型在多个领域的最新应用进展，本文为研究者提供了全面的技术图谱。本综述的独特价值体现在三个方面：首先，突破文本提示VL模型的单一范畴，系统覆盖文本提示（对比式、生成式、混合式、对话式）、视觉提示（如SegGPT、SAM）及异构模态（如ImageBind、Valley）三大类基础模型；
大模型中你必须知道的：Chinchilla范式
mao_feng的博客
06-25 1238
其70B参数+1.4万亿token的设计成为LLM高效训练的里程碑。尽管后续模型（如Llama 3）对其缩放定律提出新思考，但其核心思想————仍深刻影响着AI发展路径。未来，结合高质量数据筛选、动态架构调整的“后Chinchilla”范式，或将成为LLM演进的下个方向。，其核心在于通过科学平衡模型规模与训练数据量，在固定计算预算下实现最优性能。Chinchilla架构是DeepMind于2022年提出的一种。，即每10亿参数需匹配200亿token的训练数据。Chinchilla架构的本质是。
大模型系列——幻觉
hang on it more longer
10-23 3645
信息抽取模型可直接使用大模型本身来抽取，也可以使用现有的信息抽取模型 需要一个信息抽取模型 需要评测基准验证该评估方法的可行性，并与人类对齐 https://arxiv.org/pdf/1905.13322 待定⌛️ 效果一般，且需要依赖较为复杂且可靠的信息抽取模型。例如，大型语言模型（LLMs）可以从生成性反馈循环中显著受益，通过Milvus这样的开源向量数据库，可以高效地存储和检索编码文本数据语义的向量表示，从而创建一个不断学习和改进的动态系统。
大模型基础理论学习笔记——大模型适配
maximejia的博客
01-26 3420
本文主要介绍了大模型适配的基础要素（包括预训练模型、下游任务数据集、适配参数、任务损失函数以及优化问题等）、大模型适配的主流方法，主要包括探针方法、微调方法和轻量级微调方法，参考原始论文及扩展文献，对上述主流方法的实现原理进行了深入探讨，并介绍了各个方法的特征及适用问题范围。后续，在大模型基础理论方面的学习完成后，拟进行进一步实践研究，基于现有工作，研究大模型的预训练与微调等的落地实践，以及对灵活扩展应用的探索。
垂直领域大模型——文档图像大模型的思考与探索
2401_84052244的博客
02-06 3027
GPT4-V多模态大模型大幅度提升了AI技术在文档分析与识别领域的能力边界，端到端实现了文档的识别到理解的全过程。并且提供了一条研发新范式：“大数据、大算力、多任务、端到端。像篡改检测、文本分割擦除这样像素级的任务，GPT-4V大模型处理的并不好，虽然它在文档解析和识别领域的能力已经具备，但较之于SOTA方法来比较，性能还是有待提升。GPT-4V这样多模态大模型的强项在于信息抽取和理解认知层面，这一特点在经过有效利用后，可以大幅提升该研究领域的天花板。1.机遇与挑战。
大模型指令微调概述，大模型微调简单介绍ppt
10-30
第三范式的出现标志着预训练模型的兴起，比如BERT模型，通过finetuning在特定任务上进行微调，显著提升了性能，尽管模型变得更大，但只需要少量数据就能达到良好效果。而第四范式则是预训练模型与prompt技术的结合，...
中国AI大模型发展白皮书
09-01
预训练大模型在海量数据的学习训练后具有良好的通用性和泛化性，用户基于大模型通过零样本、小样本学习即可获得领先的效果，同时“预训练+ 精调”等开发范式，让研发过程更加标准化，显著降低了人工智能应用门槛，...
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 276
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 790
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 553
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
2301_80828873的博客
11-26 955
最近邻检索的方法，PQ，IVF,HNSW
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 730
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 724
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
最新发布
Trb201013的博客
11-27 281
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
大语言模型基础与架构详解
书中进一步梳理了主流大语言模型的三大架构范式：Encoder-only（如BERT）、Decoder-only（如GPT系列）和Encoder-Decoder（如T5、BART），并对它们的功能特性、适用任务类型及历史演变路径进行了对比分析。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值