python centos安装

最新推荐文章于 2025-04-24 21:14:42 发布
最新推荐文章于 2025-04-24 21:14:42 发布
阅读量286 收藏
点赞数
分类专栏： python 文章标签： linux centos python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Cheng_Ming_Qiu/article/details/117256154
版权
本文档介绍了在CentOS系统中如何安装Python3.9的详细过程，包括依赖包的安装、Python源码下载、编译配置及安装验证。遵循这些步骤，您可以顺利地将Python3.9集成到您的开发环境中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第一步：安装扩展依赖包：

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make

yum -y install epel-release

yum install python-pip

第二步：官方查看并下载对应稳定版本

下载路径扩展：https://www.python.org/downloads/source/

wget https://www.python.org/ftp/python/3.9.4/Python-3.9.4.tgz

 

tar -zxvf Python-3.9.4.tgz

cd Python-3.9.4

./configure prefix=/usr/local/python3  --enable-optimizations

make && make install

#添加python3的软链接   注意centos本身自带python，软连接名称可以改为python3    ,直接改为python可能会冲突
ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3
 
#测试是否安装成功了
python -V

盘点强化学习中的各种O（DPO、PPO、GRPO等）
xiezhipu的博客
04-21 170
在强化学习领域，以字母"O"（Optimization）结尾的算法因其独特的优化机制和广泛的应用场景备受关注。这些算法覆盖了策略优化、偏好对齐、物理建模等多个方向，并在大模型对齐、机器人控制、复杂系统仿真等领域展现出强大潜力。本文将对PPO、GRPO、GPO等核心算法进行系统解析，并探讨其技术特点与前沿进展。
[论文笔记] RL对齐：GRPO & DPO & KTO
心宝的博客
02-07 801
GRPO 和 DPO 都依赖于成对的偏好数据 (pairwise preference data)，其中包含一个“更好”（preferred）的样本 A+ 和一个“较差”（dispreferred）的样本 A−，通常来源于模型生成的多个候选结果，由人工或规则标注优劣。Dkl(πθ||πref)是模型 πθ 与参考模型 πref之间的 KL 散度，控制模型偏离程度。GRPO 对 DPO 进行扩展，引入 KL 正则项，以更灵活地控制模型的生成质量。直接优化模型，使其偏向人类偏好的样本，而远离不符合偏好的样本。
DeepSeek基础：PPO、DPO、GRPO概念详解
EnjoyEDU的博客
03-25 2034
DeepSeek在强化学习（RL）优化中采用了多种算法，包括PPO、DPO和GRPO，这些算法在不同场景下提升了模型的性能和训练效率。
一文搞懂大模型强化学习策略：DPO、PPO和GRPO
2401_85373691的博客
03-12 2488
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
【强化学习】2、从 PPO 到 GRPO
呆呆的猫的博客
02-24 2051
本文主要介绍 PPO 和 GRPO
PPO与DPO
asd8705的专栏
01-23 2656
PPO（Proximal Policy Optimization）和DPO（Direct Preference Optimization）是两种不同的优化算法，分别应用于强化学习和基于人类反馈的模型微调。奖励模型（Reward Model）的设计直接影响策略优化的效果，尤其是在复杂任务或需要人类偏好的场景中（如对话生成、机器人控制）。DPO 将奖励函数隐式地编码到策略优化中，通过理论推导证明其等价于最大化基于奖励模型的策略目标，但无需显式训练奖励模型。实际应用中，常需多次迭代调整奖励模型和策略训练的协同。
详解GRPO，PPO，DPO【附伪代码和详细公式】
weixin_62508889的博客
03-05 1749
详解GRPO，PPO，DPO。强化学习LLM
强化学习的优化策略PPO和DPO
qq_55736201的博客
05-15 3458
DPO(直接偏好优化)简化了RLHF流程。它的工作原理是创建人类偏好对的数据集，每个偏好对都包含一个提示和两种可能的完成方式——一种是首选，一种是不受欢迎。然后对LLM进行微调，以最大限度地提高生成首选完成的可能性，并最大限度地减少生成不受欢迎的完成的可能性。与传统的微调方法相比，DPO 绕过了建模奖励函数这一步，设计一种包含正负样本对比的损失函数,通过直接在偏好数据上优化模型来提高性能。(即不训练奖励模型，语言模型直接做偏好优化)
GRPO / PPO / DPO 在医疗场景下的 LLM 优化与源码实战分析
最新发布
努力分享一些人工智能相关的知识干货！
04-24 795
在医疗智能体系统中，任务高度复杂、容错要求极高、反馈滞后显著，因此 LLM 系统仅靠 Prompt 编排远远不够。为此，GRPO（Generalized Reward-Policy Optimization）、PPO（Proximal Policy Optimization）、DPO（Direct Preference Optimization）等 RL 策略成为强化智能问诊、医学问答、病历分析等 Agent 系统的关键优化路径。 本篇将以医疗为真实背景，逐步解析如何结合 LLM+RL 策略实现训练、如何构
NLP高频面试题（十四）——DPO、PPO等强化学习训练方法介绍
WeLearnNLP
03-24 846
强化学习与监督学习、无监督学习不同，它不依赖大量标注数据，而是通过与环境交互来获得反馈奖励，以此来训练智能体学习最佳决策策略。简单来说，强化学习的本质是智能体通过与环境互动，不断试错，从而优化策略以实现总奖励最大化。无需大量标注数据，但通常需要大量交互数据；处理序列决策问题，当前决策影响后续状态；学习目标是最大化长期累积奖励，而非单步预测精度。PPO（Proximal Policy Optimization）是一种广泛应用的强化学习算法，属于策略梯度（Policy Gradient）方法。
Ray 分布式强化学习训练方案：DPO/PPO 实现
AI天才研究院
04-15 211
Ray 是一个分布式计算框架，特别适合于强化学习等需要大规模并行计算的场景。在实现 DPO (Direct Preference Optimization) 和 PPO (Proximal Policy Optimization) 这两种强化学习算法时，Ray 提供了显著优势。Ray的分布式架构为DPO和PPO这类计算密集型强化学习算法提供了理想的执行环境，特别适合大规模语言模型和复杂决策系统的训练。创建分布式 Worker。
请详述ppo和dpo的区别和优劣|详解ppo原理|
强化学习曾小健
07-10 6119
PPO 是一种高效且稳定的策略优化算法，通过引入裁剪机制限制策略更新幅度，从而在保证策略更新稳定性的同时，有效地进行策略优化。其简单易实现的特点使其成为强化学习中的一种常用算法，并在多种应用场景中表现出色。PPO 的成功表明，在强化学习中，稳定和高效的策略更新是实现高性能的重要因素。策略梯度目标函数 𝐽(𝜃)J(θ) 表示策略 𝜋𝜃πθ​ 下的期望累积回报。通过最大化这个目标函数，我们可以优化策略，使其在环境中获得更高的累积奖励。策略梯度方法直接优化策略的参数，通过计算目标函数的梯度。
强化学习的优化策略PPO和DPO详解并分析异同
热门推荐
samoyan的博客,记录技术成长~
12-29 2万+
总结来说，PPO和DPO在算法框架和目标函数上有共同之处，但在实现方式、并行化程度以及适用的计算环境上存在差异，DPO特别适用于需要大规模并行处理的场景。总结来说，PPO专注于通过剪切概率比率来稳定策略更新，而DPO在此基础上引入分布式计算，以提高数据收集和处理的效率，加快学习速度。
4000字！DeepSeek-R1 核心强化学习算法 GRPO 详解
m0_59163425的博客
02-07 1万+
在大语言模型（LLM）的微调过程中，强化学习（RL）扮演着至关重要的角色。传统的近端策略优化（PPO）算法虽然被广泛应用于LLM的微调，但其在处理大规模模型时面临着巨大的计算和存储负担。PPO算法需要维护一个与策略模型大小相当的价值网络来估计优势函数，这在大模型场景下会导致显著的内存占用和计算代价。例如，在数十亿甚至千亿参数的语言模型上应用PPO时，价值网络的训练和更新会消耗大量的计算资源，使得训练过程变得低效且难以扩展。此外，PPO算法在更新策略时可能会导致策略分布发生剧烈变化，从而影响训练的稳定性。
DPO PPO算法
yaohaishen的专栏
02-20 1316
PPO和DPO是两种不同的强化学习算法，分别适用于在线学习和离线偏好学习的场景。PPO通过限制策略更新的幅度来确保训练的稳定性，而DPO通过直接优化策略来匹配人类偏好。两者在优化目标和数据来源上存在显著差异，但都属于策略优化的范畴。
一篇文章理解DPO、PPO和GRPO；附代码理解
weixin_52326703的博客
03-24 961
DPO（Direct Preference Optimization）是一种直接优化模型偏好的强化学习算法，主要用于训练和优化人工智能模型，特别是在大型语言模型的训练中。它通过比较不同模型输出的结果，选择更符合人类偏好的结果作为训练目标，而不需要显式地定义奖励函数。核心思想直接优化偏好：DPO 直接通过比较模型输出的偏好来优化模型，而不是通过传统的奖励信号。
详解大模型PPO、DPO的训练过程
Antai_ZHU的博客
07-10 1万+
AI因你而升温，记得加个星标哦！大家好，我是泰哥。距离上次写技术贴已经1年有余，这一年当中算法技术的发展可以说是日新月异。今天和大家聊聊大模型的训练的三个阶段，分别为有监督学习（SFT）、奖励模型训练（RW）与强化学习（PPO）阶段，我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架，并将decoder中的Multi-head Attention层删除，其结构和计算过程如上图。
解读DeepSeekMath中的RL策略！GRPO：改进PPO增强推理能力
AIBigModel的博客
01-19 1万+
作者：Plunck原文：https://zhuanlan.zhihu.com/p/15677409107最近非常火爆，阅读技术报告之后感觉干货满满。这一代模型是DeepSeek之前多种技术的集大成者，包括DeepSeekv2[Arxiv]中使用过的注意力的改进。
ppo DPO GRPO
02-22
### PPO、DPO 和 GRPO 算法的区别与联系 #### Proximal Policy Optimization (PPO) Proximal Policy Optimization 是一种强化学习方法，旨在通过引入信任区域来稳定策略更新过程。该算法利用剪切函数限制新旧策略之间的差异，从而防止参数更新过大导致性能下降。PPO 结合了 TRPO 的稳定性以及简单易实现的特点，在实践中表现出良好的收敛速度和鲁棒性[^1]。 ```python def ppo_update(policy_net, old_policy_net, optimizer, states, actions, rewards): advantages = compute_advantages(states, rewards) for _ in range(update_epochs): new_log_probs = policy_net.log_prob(actions) old_log_probs = old_policy_net.log_prob(actions).detach() ratio = torch.exp(new_log_probs - old_log_probs) surr1 = ratio * advantages surr2 = torch.clamp(ratio, 1.0 - clip_param, 1.0 + clip_param) * advantages loss = -torch.min(surr1, surr2).mean() optimizer.zero_grad() loss.backward() optimizer.step() ``` #### Direct Preference Optimization (DPO) Direct Preference Optimization 则是从人类反馈中直接优化模型的行为分布，而不需要显式的奖励信号。这种方法能够更高效地利用少量高质量的人类评价数据，并且可以避免传统基于奖励塑造的方法所带来的偏差问题。DPO 使用对比损失函数训练模型以最大化所选行为序列相对于未选行为的概率比值。 ```python def dpo_loss(selected_seq_logits, unselected_seq_logits): logits_diff = selected_seq_logits - unselected_seq_logits losses = F.softplus(-logits_diff) return losses.mean() for epoch in range(num_epochs): for batch in data_loader: selected_seq_logits, unselected_seq_logits = model(batch) loss = dpo_loss(selected_seq_logits, unselected_seq_logits) optimizer.zero_grad() loss.backward() optimizer.step() ``` #### Gradient Ratio Policy Optimization (GRPO) Gradient Ratio Policy Optimization 提出了调整正负梯度系数的概念，实验结果显示这能显著提升在线环境下的表现。特别是当采用细粒度步长感知型梯度比率时（即 GRPO+PS），其效果要好于仅考虑整体比例的情况（如 GRPO+OS）。这种机制允许更加灵活地控制不同阶段的学习速率变化趋势，有助于提高最终决策质量[^2]。 ```python class GRPOTrainer: def __init__(self, ...): self.positive_coefficient = ... self.negative_coefficient = ... def update(self, positive_gradients, negative_gradients): adjusted_positive_grads = positive_gradients * self.positive_coefficient adjusted_negative_grads = negative_gradients * self.negative_coefficient final_gradients = adjusted_positive_grads - adjusted_negative_grads apply_gradients(final_gradients) ``` 综上所述，虽然三种算法都属于强化学习领域内的改进方案，但各自侧重点有所不同：PPO 关注如何平稳有效地完成单次迭代；DPO 注重从有限数量的偏好样本里提取有用信息来进行指导；GRPO 则探索了动态调节梯度权重对于加速收敛的作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值