weixin_43522964的博客

原创 【OCR】

https://aistudio.baidu.com/education/group/info/25207

原创 如何构造训练DPO数据

在DPO训练中，“定义坏答案”比“定义好答案”更重要。通过有意识地构造包含幻觉的负样本，DPO能显著提升AI搜索模型在生成环节的专业性和可靠性。RAG的问题信息过载与干扰：召回的答案噪声很大，可能存在一些字面相关性，大模型会做整合，对信息的取舍能力有待加强。

原创 强化学习算法比较

核心关注概率比例优势函数。① 概率比例很简单：就是每个token位置模型的输出概率。② 优势函数从理论上讲，优势函数 A(s,a) 的定义非常简单：Q(s,a)：在状态 s 下采取动作 a 的预期长期收益。V(s)：在状态 s 下采取平均动作的预期长期收益（由 Critic 模型估计）。

原创 107-agent调研

AI 先把任务抽象成一个已知的“经典算法（如：深度优先搜索、动态规划）”，然后一步步模拟这个算法的执行过程。传统的 AI 是一条路走到黑（线性思考），而树搜索让 AI 在遇到困难决策时，像下围棋一样，在脑子里把各种可能性都“推演”一遍。想计划的只管想，干活的只管干，这样哪怕搜网页搜错了，也不会把 AI 的逻辑带坑里去。用成千上万个“有计划、有逻辑”的数据集去喂它，或者让它在环境里试错（RL），做对了给奖励。的文本生成器，而是一个自主的问题解决者：它制定计划，通过检索或环境搜索探索备选方案，并。

原创 【word】- 宏操作 - 如何在word中批量修改图片格式

背景：word中大量emf图片，需要批量修改为jpg。目标：所有emf图片原地替换为jpg。

原创 【word】- 宏操作 - 如何在word中插入宏

例如，这里我们完成了一个名为“InsertDateStampTest”的函数。4. 在弹出的对话框内部完成函数编写。5. 直接退出，不要做任何保存操作。：在word文档的最后添加一个句子。1.打开word如图。点击退出按钮，如图。

原创 【论文研读】- Alpha-Zero

1.Feature1.Feature① 不需要专家知识，只需要游戏规则② 技术栈：MCTS + DNN(输出动作概率 + 局面预估)

原创 【算法比较】

TRPO计算过程非常复杂，每一步更新的运算量非常大。优点：有扎实的理论基础和优秀的实验性能，SAC 算法已经成为炙手可热的深度强化学习算法，很多新的研究基于 SAC 算法，第 17 章将要介绍的基于模型的强化学习算法 MBPO 和第 18 章将要介绍的离线强化学习算法 CQL 就是以 SAC 作为基本模块构建的。直觉性地理解，TRPO 给出的观点是：由于策略的改变导致数据分布的改变，这大大影响深度模型实现的策略网络的学习效果，所以通过划定一个可信任的策略学习区域，保证策略学习的稳定性和有效性。

原创 Soft-Actor-Critic算法-连续环境

SAC算法在倒立摆上的表现思考与要点记录：① 策略梯度是用价值给策略背书(成王败寇)，sac则是拿action分布下的期望给策略背书(集体大于个人)。② 在最优动作不确定的某个状态下，熵的取值应该大一点；而在某个最优动作比较确定的状态下，熵的取值可以小一点。③价值训练：R + V 拟合Q策略训练：熵 + Q 最大化④ 重参数化技巧：将采样过程拆解为。

原创 【强化学习实验】- PPO

基于cartPole环境，实验效果，并于比较。PPO通俗理解：不见兔子不撒鹰，兔子代表优势，优势>0就提高动作概率，否则降低动作概率。相较而言，策略梯度未建模优势，朴素AC算法倒是建模了优势，两者区别是：① 朴素AC缺乏Trust-region 保护② 朴素AC的核心是log动作概率；PPO的核心是两个策略的动作比值。似乎PPO更直接粗暴。

原创 【强化学习实验】- Actor-Critic

基于cart-pole环境，实验AC算法的效果，并于策略梯度比较。

原创 【强化学习实验】- 策略梯度算法

模型训练750个epoch接近收敛，而后震荡收敛，整体效果并不是很好。a、仅使用sar数据，可能会限制算法的能力上线。loss = -微分对象=-Q*log概率。② 编码核心目标函数 及其 loss函数。文章中2.2 策略梯度算法。b、无偏，但是方差比较大。② 思考算法的优缺点。

原创 具身智能路线

pybullet 是用 Python 免费调用 Bullet 物理引擎的库，用来做机器人、游戏、影视、AI 的刚体／碰撞／动力学仿真。Bullet 的 C++ 内核用 CPython 接口封装，让 Python 用户也能调用工业级物理仿真功能，而不用自己写 C++。pybullet ≈ “Python 版的 Bullet 物理引擎”。类似于强化学习的gym，是更强大的环境，可以用于训练机器人。），bullet本身是子弹的意思，和刚体有一定相关性。一个开源的刚体／动力学物理引擎。

原创 behavior行为挑战赛

提供经典行为克隆基线模型（ACT、Diffusion Policy 等）和预训练视觉语言动作模型（OpenVLA 和 π0）的训练及评估管道。网站开源所有代码、数据和模拟资产，提供入门套件和详细文档，帮助参与者快速上手，还为新手准备了教程和指导。次要指标用于衡量效率，包括模拟时间（总模拟步数 × 每步时间）、导航距离（机器人底座移动的总距离）和手部位移（手部累计移动距离）。包含同步的 RGBD 观测、物体和部件级分割、物体真实状态、机器人本体感受和动作，以及技能和子任务注释。平均轨迹时长6.6 分钟。

原创 具身智能综述1：Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI

具身智能入门了解调研

原创 强化学习-笔记

定义：是智能体在与环境交互中来实现目标的一种算法，这里的强化是强化智能体的策略 — 让策略更倾向于选择高价值动作最终实现累积奖励期望的最大化。基本过程：智能体agent看到状态St，采取动作At施加到环境中，得到奖励rt，同时环境转移为St+1，简称sars。关键要素：感知、决策、奖励。

原创 GPT开始引起人们的注意力了

GPT发展史

原创 ＜script type=“text/javascript“ id=“clustrmaps“ src=“//clustrmaps.com/map_v2.js?d=ve6F6SS11iG4uIguoTW

<script type="text/javascript" id="clustrmaps" src="//clustrmaps.com/map_v2.js?d=ve6F6SS11iG4uIguoTWVRUjvilkuBNsM2hxvFs-6aos&cl=ffffff&w=a"></script>

原创 leetcode刷题

hashmap

原创 排序-计数排序-单调递增数组

计数排序

原创 20220606-重复元素

滑窗 + 哈希set

原创 20220601-数组-杨辉三角

javapython数组杨辉三角

原创 20220228-数组-加法

-数组-加法

原创 20220228-数组-二分

题目给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。请必须使用时间复杂度为 O(log n) 的算法。来源：力扣（LeetCode）链接：https://leetcode.cn/problems/search-insert-position思路二分法：小于target的话，左边界=mid+1；大于target的话，右边界=mid-1注意直接两个边界相等的case代码class Solution {.

原创 Spring笔记

Spring

原创 XK 计划

Springleetcode二分法边际

原创 20220524-每天一道简单题-按摩师-数组-递归-记忆

文章目录题目代码展示题目一个有名的按摩师会收到源源不断的预约请求，每个预约都可以选择接或不接。在每次预约服务之间要有休息时间，因此她不能接受相邻的预约。给定一个预约请求序列，替按摩师找到最优的预约集合（总预约时间最长），返回总的分钟数。来源：力扣（LeetCode）链接：https://leetcode.cn/problems/the-masseuse-lcci代码展示简而言之，就是求最大 子序和，条件是element不能是连续的思路：递归 + 记忆练习点：如...

原创 torch.scatter()

torch.scatter

原创 torch.gather()理解

torch.gather

原创 torch定制优化器optim

翻译 filter_specific _rows

行筛选pandas

翻译 groupby

import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlineGroupBygroup_by的底层步骤：（1）split：依据某个标准把数据 分割（2）Apply：将某个函数 应用 到每一组数据,例如agg、transform（3）combining：将结果合并在apply这一步，我们可以采取：（1）聚合操作：将一个group的数据映射为一个数，例如求平均值、group内元素的

翻译 GroupBy

GroupBy

翻译 groupby2

pandasgroupby

翻译 1-9_time_data

pandas时间处理

翻译 1-8_combine_data_from_multiple_tables

pandas表连接

原创 shell-No such file or directory

Shell脚本的路径

原创 【python】-打包发布自己的项目

python项目发布

原创 【数据库-mysql】备份、用户管理、权限管理

备份、用户管理、权限管理

原创 【数据库-mysql】索引、视图与触发器

索引、视图与触发器