无监督和强化学习的一些概念理解-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_37705280/article/details/147796592

无监督学习

无监督模型如何构建损失？

无监督损失函数是用于衡量模型对未标注数据内在结构的捕捉能力，其目标是通过优化函数引导模型发现数据分布、特征关联性或潜在模式，而非依赖外部标签的监督信号。例如，在自编码器中，重构损失通过最小化输入与重建输出的差异捕捉数据的压缩表示

为什么无监督训练可以让模型捕获通用知识？

海量数据+统计特征提取。后者可以使模型对世界上的信息形成更加"抽象"（高维度）的理解

强化学习

强化学习（Reinforcement Learning, RL）是机器学习的一个分支，其核心思想是让一个智能体（Agent）通过与环境的交互学习如何做出最优决策，以最大化长期累积的奖励（Reward）。（注意强化学习强调的是，优化"一系列决策后的最终结果"的奖励，有点不看过程只要结果的意思）

像是"给原版相机加了个镜头"让模型变得更加厉害。它并不是去修改模型，而是在模型之外套上一层使模型输出结果更好的"优化策略"或者"价值函数"。

"优化策略"或者"价值函数"的获得依赖于最终的结果反馈，这个反馈可以是人工可以是机器，但人工处理效率太低了，所以现在往往需要训练一个评估模型结合使用。

强化学习需要更新原模型参数吗？

对大模型的强化学习（RL）本质是通过参数更新实现策略优化，二者并非对立关系。策略的改进直接依赖于模型参数的调整，但存在两种典型实现方式：

直接参数更新：通过梯度反向传播微调全部或部分模型权重（如RLHF主流方案）；
间接策略优化：冻结主模型参数，通过外部策略模块（如Adapter或前缀网络）控制输出行为（新兴研究方向）

强化学习与微调的区别

一些强化学习的博客：

注释：

马尔可夫决策过程（Markov Decision Process, MDP）是序贯决策（sequential decision）的数学模型，用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报.
强化学习（Reinforcement Learning，RL）是一种机器学习方法，强化学习的基础框架是马尔可夫决策过程，它允许智能体（Agent）能够在与环境（Environment）的交互中通过试错来学习最优策略.

无监督、自监督、有监督和强化学习之间的对比

监督学习：依赖带标签的数据（输入-输出对），直接学习映射关系。
无监督学习：发现数据中的潜在结构（如聚类、降维）。
自监督学习：通过构造辅助任务（Pretext Task）从数据本身生成伪标签，使模型学习通用特征表示。例如，通过预测图像的旋转角度或补全文本中的缺失词（如BERT的掩码语言模型）来构建监督信号
强化学习：通过动态交互学习序列决策，依赖延迟奖励信号。

概念理解

强化学习

目前的强化学习主要还是通过模型的参数更新来对其进行优化。冻结主模型参数，通过外部策略模块进行优化的方式还是比较少。而后者也更像模型微调。但无论前者还是后者的强化学习训练方式，其本质都是对"策略流"进行最终判定（延时反馈，如AlphaGo下围棋，要通过最终的输赢确定奖励信号的正负），而不是最标注数据进行的实时loss反馈，感觉这是强化学习和微调的主要区别。

如果说微调是通过更加精细化的训练模型某一方面的工作能力（细致的，定性的基础上的定量能力），那么强化学习更像是在加强模型判断是非的能力（因为强化学习的训练过程注重最终结果），一种定性而不定量的能力（相对于微调获得的能力，更加的抽象、相对模糊的一种东西）

至于说强化学习使用的是动态交互产生的奖励信息，不同于静态标注数据，这一点我感觉而这并没有本质上的差别（都是标注数据）。数据上的差别仅仅是稀疏与密集的区别。