Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量657 收藏
点赞数 23
CC 4.0 BY-SA版权
分类专栏： LLM Daily Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/141072640

本文是LLM系列文章，针对《Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies》的翻译。

驾驭大型语言模型：对范式和微调策略的全面回顾和分析

摘要

随着ChatGPT的激增，大型模型的使用显著增加，在整个行业迅速崛起，并席卷互联网。本文对大型模型的微调方法进行了全面的综述。本文研究了任务自适应微调、领域自适应微调、小样本学习、知识蒸馏、多任务学习、参数高效微调和动态微调等方面的最新技术进步和先进方法的应用。

1 引言

2 相关工作

3 Transformer架构

4 LLMs范式

5 任务特定的适应微调

6 小样本学习和元学习

7 知识蒸馏和迁移学习

8 多任务学习

9 参数高效微调

10 指令调整

11 对齐调整

12 代理调整

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Navigating the OverKill in Large Language Models
c_cpp_csharp的专栏
03-06 120
大型语言模型经过精心调整，既有益又无害。然而，最近的研究指出了一种潜在的过度使用，这意味着模型可能会拒绝回答善意的查询。在本文中，我们通过探索模型如何处理和确定查询的安全性来研究过度使用的因素。我们的研究结果揭示了模型中捷径的存在，导致人们过度关注“杀死”等有害词汇，强调安全的提示会加剧过度使用。基于这些见解，我们引入了自对比解码（Self-CD），这是一种无训练和模型无关的策略，以缓解这种现象。我们首先通过在响应包括或省略对安全的强调的系统提示时放大模型输出分布的差异来提取这种过度关注。
论文阅读：LLaVA：Large Language and Vision Assistant
微风❤水墨
09-25 331
对于公式2中的训练，我们将数据组织为单轮对话，将问题和内容作为Xinstruct，将推理和答案作为Xa。我们在早期实验中对ChatGPT和GPT-4的使用进行了消融，发现GPT-4始终提供更高质量的指令跟随数据，例如空间推理。注意，论文使用的 GPT4 是 text-only 版本，而不是多模态版本 GPT-4V，所以 GPT4 并不能真正看到图片，只能假装看到了图片然后根据图片的描述生成多轮对话。以上是原理的介绍，我们应该更感兴趣的是Code，毕竟我们想在自己的数据上也生成指令微调数据。
Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation阅读笔记
Unconditional666的博客
07-04 930
通过将生成的 SQL 语句转换回文本并将它们与原始用户问题的语义并列，我们可以评估生成的 SQL 语句的准确性。它涉及将问题中的实体引用与相应的模式表或列对齐，要求模型理解数据库的结构和值，以及用户问题的语义。结果错误分类：表查询错误(多余，缺少，错误)，列选择错误（多余，缺少，错误），连接列错误（涉及join的错误），条件过滤错误，数据处理错误。随着用户查询中涉及的表和列数量的增加，LLM 的 Text-to-SQL 挑战显着升级。生成的SQL错误分两种：语法错误，结果错误。
【论文阅读】Exploring the landscape of large language models: Foundations, techniques, and challenges
十二月未央未眠
04-23 1098
第二章节专注于大型语言模型（LLMs）的预训练过程。预训练的重要性：预训练是训练一个神经网络的过程，使其在大量文本数据上学习语言的复杂模式、上下文关系和结构。预训练阶段不涉及特定下游任务的知识，而是让模型获得对语言的一般性理解。模型参数的作用：LLMs的参数数量反映了其记忆能力和执行复杂任务的能力。预训练期间，这些参数会根据预训练目标进行调整，以最小化训练损失并最大化模型准确性。
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 16万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
A Survey on Mixture of Experts 混合专家模型综述(第一部分：混合专家算法设计)
u014546828的博客
03-14 2062
并整理开源实现方案、超参数配置与实证评估结果。此外，本文梳理了MoE在实践中的多领域应用场景，最后指出未来研究的潜在发展方向。
23、Navigating the Realities of War and Peace: From Vietnam to Panama
mongodb5scout的博客
11-21 8
本文讲述了两位美国海军退伍军人——Guy Gugliotta和John R. Juarez——在战争与和平之间的过渡经历。Gugliotta从越南战场归来后，经历了心理疏离与身份重构，最终转向新闻职业生涯；Juarez在巴拿马行动中参与运河护航任务，在紧张局势中守护家庭与职责。文章通过对比他们在战时与平民生活之间的挑战、自我发现与新机遇，探讨了军事服务对个人性格、人际关系和职业发展的深远影响，揭示了军人退役后适应社会的复杂现实，并呼吁对退役军人提供更深入的理解与支持。
21、Unleashing the Power of Google Documents: A Comprehensive Guide
sunny的博客
07-17 39
This comprehensive guide explores the features and functionalities of Google Docs, an online office suite that enables seamless document creation, editing, and collaboration. The blog covers everything from getting started, formatting and sharing documents
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 212
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 333
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 545
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 202
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1766
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 483
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 227
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 690
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 49
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1048
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 593
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
This editable TextView has an android:contentDescription. A screen reader may read this attribute instead of the editable content when the user is navigating
04-04
<think>嗯，用户这次的问题是关于在Android开发中，当使用带有`android:contentDescription`的`EditText`时，屏幕阅读器在用户导航时为什么会读取这个属性而不是实际的可编辑内容。之前已经解释过`contentDescription`的基本用法和注意事项，现在用户可能遇到了实际开发中的问题，或者想更深入理解无障碍功能的行为。 首先，我需要确认用户的具体需求。他们可能是在开发过程中发现屏幕阅读器没有按预期读取输入内容，而是读取了`contentDescription`，想知道原因以及如何解决。或者他们想了解如何正确设置这些属性以优化无障碍体验。 接下来，我需要回顾之前的回答，确保不重复同样的内容，但可能需要更详细地解释`contentDescription`和文本内容在屏幕阅读器中的优先级。之前的回答已经提到`contentDescription`用于无障碍提示，但这里用户特别提到屏幕阅读器优先读取这个属性，这可能涉及到焦点导航时的行为差异。 我需要查阅Android的无障碍文档，确认`contentDescription`和文本内容的关系。根据Android的无障碍指南，当视图获得焦点时，屏幕阅读器（如TalkBack）会优先读取`contentDescription`，如果没有设置，才会读取文本内容。这对于可编辑的`EditText`来说尤其重要，因为用户需要知道这个字段的用途，而不仅仅是当前的内容。 然后，用户可能需要知道如何正确设置这两个属性，以避免混淆视障用户。例如，在输入框为空时，使用`hint`属性提供提示，而`contentDescription`应该描述字段的作用，而不是当前内容。例如，一个接收邮箱的输入框，`contentDescription`应该是“电子邮件输入框”，而`hint`是“请输入您的邮箱”。 另外，用户可能遇到的常见问题包括错误地将`contentDescription`设置为动态内容，或者在应该使用`hint`的时候误用了`contentDescription`。需要指出这些陷阱，并提供最佳实践，比如优先使用`hint`，仅在必要时补充`contentDescription`。 可能还需要解释不同场景下的行为差异，比如当输入框有文本时，屏幕阅读器是否会读取内容，以及如何通过`android:importantForAccessibility`调整优先级。此外，动态内容的情况如何处理，比如在代码中更新`contentDescription`是否会影响用户体验。 最后，总结关键点，确保用户理解如何平衡`contentDescription`和输入内容，以提供最佳的无障碍支持。同时，提醒测试的重要性，使用Android Studio的无障碍工具或实际设备进行测试，确保屏幕阅读器的行为符合预期。</think>### 屏幕阅读器优先读取 `contentDescription` 的机制解析 #### 1. **核心逻辑说明** - **`android:contentDescription` 优先级规则**： Android 无障碍服务（如 TalkBack）在**导航焦点到达控件时**，会优先朗读该属性值。只有当 `contentDescription` 未设置时，才会读取控件本身的文本内容（`android:text` 或用户输入内容）。 - **设计意图**： 此机制确保开发者能直接定义**控件的功能性描述**，而非依赖易变的文本内容。例如： `密码输入框`（固定语义） vs `••••`（动态内容） #### 2. **典型场景对比** | 场景 | XML 配置 | 屏幕阅读器输出 | 合理性分析 | |------|----------|----------------|------------| | 用户导航到空输入框 | ```xml <EditText android:contentDescription="收件人邮箱输入框" android:hint="请输入邮箱"/> ``` | "收件人邮箱输入框, 可编辑文本, 提示: 请输入邮箱" | ✅ 语义清晰，提示完整 | | 用户导航到有内容的输入框 | ```xml <EditText android:contentDescription="搜索关键词输入框" android:text="Android开发"/> ``` | "搜索关键词输入框, 可编辑文本, 内容: Android开发" | ⚠️ 可能冗余，需优化 | #### 3. **深度行为模式** ```kotlin // 代码层面动态控制示例 editText.contentDescription = when { editText.text.isEmpty() -> "消息输入框（空）" else -> null // 主动清除 contentDescription 以触发文本读取 } ``` - **焦点变化逻辑**： 当用户通过滑动导航切换到控件时，触发 `contentDescription` 朗读 直接点击输入框时，则可能直接进入编辑模式并朗读提示（`hint`） #### 4. **无障碍最佳实践** 1. **内容描述三原则**： - **静态控件**（如 ImageButton）：必须设置 `contentDescription` - **文本控件**（TextView）：通常不需要，除非需要补充说明 - **输入控件**（EditText）：仅在以下情况设置： - 图标按钮式输入框（如搜索图标+输入框） - 需要覆盖默认提示逻辑的特殊场景 2. **动态内容处理策略**： ```xml <!-- 优先使用 hint 作为主要提示 --> <EditText android:hint="输入验证码" android:contentDescription="短信验证码输入区域，${hint}" tools:ignore="HardcodedText" /> ``` #### 5. **常见问题调试** - **问题现象**：输入内容后，屏幕阅读器仍重复朗读 `contentDescription` - **解决方案**： 通过代码动态清除描述： ```kotlin editText.doAfterTextChanged { if (it?.isNotEmpty() == true) { editText.contentDescription = null } } ``` - **检测工具**： 使用 Android Studio 的 **Accessibility Scanner** 检测冗余描述 #### 6. **高级技巧：语义树控制** ```kotlin // 构建完整语义节点信息 ViewCompat.setAccessibilityDelegate(editText, object : AccessibilityDelegateCompat() { override fun onInitializeAccessibilityNodeInfo(v: View, info: AccessibilityNodeInfoCompat) { super.onInitializeAccessibilityNodeInfo(v, info) if (v.isFocused) { info.text = "当前输入：${editText.text}" } } }) ``` *（此方法可精细控制焦点状态下的朗读内容）* 建议在实际开发中通过 **TalkBack 开发者模式** 实时观察语义树结构，验证描述系统的有效性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值