- 博客(18)
- 收藏
- 关注
RSS订阅原创 《DPO 算法详解：不训练奖励模型，如何让大模型直接学会人类偏好？》
如果最终目标本质上只是学习偏好关系，那么不一定需要把问题拆成 Reward Model + Policy Optimization 两个阶段，也可以直接从偏好数据构造优化目标先找到任务真正需要学习的信号，再判断中间模块是否真的必要在经典 RLHF 中，人类真正提供的信息其实是“回答 A 比回答 B 更好”，Reward Model 只是把这种偏好转换成一个标量奖励，而 PPO 又根据这个奖励去更新 Policy。DPO 则进一步思考：既然原始监督信号就是相对偏好，能不能直接优化这种相对关系？
2026-09-10 00:03:14
484
原创 大模型强化学习对齐：从 RLHF 框架到 PPO 算法原理
中文全称：近端策略优化在 PPO 算法中，我们通常会保存两个模型，分别是当前的 Policy 和旧模型 Old-Policy，这个在我们之前的 GRPO、GSPO 都有介绍过，从公式的角度上就是：有了比率之后，我们要怎么看是增加还是减少，这个时候我们采用优势函数，也就是我们前面介绍的 A，表示这个行为比预期好还是坏；
2026-09-07 20:08:19
751
1
原创 从 GRPO 到 GSPO：Qwen 序列级强化学习后训练原理拆解
GRPO 和 GSPO 都是在做策略更新约束，区别主要是约束的粒度不同；前者约束 token，后者约束 sequence；一个更关注每一个 token 的波动，另一个是先把整个回答所有 token 的概率变化综合起来，得到 sequence ratio；对于后者而言，认为不要过度的相信局部 token 的波动，应该要相信整个回答的整体变化；
2026-08-31 21:18:19
601
3
原创 Qwen2-VL 视觉编码器源码拆解：从像素到 Token 的完整数据流
多模态大模型的视觉编码器通常被视为一个"黑盒"——图像进去，token 出来；但是当我们需要回答"为什么 Qwen2-VL 能处理任意分辨率的图像"或"它和 Swin Transformer V2 的本质差异在哪"等这样细致的问题，我们必须打开这个黑盒，追踪从像素到 token 的每一行代码；因此本文基于 Qwen2-VL 官方源码，将从数据流、核心模块、框架对比三个层面逐层拆解；
2026-08-20 15:56:46
654
1
原创 记录向：基于 Qwen-VL 的多模态助手 LoRA 微调实践
我们采用的大模型是 qwen3.5-9b ，是阿里 Qwen 团队开源的一款约 9B 参数的原生多模态大模型，既能处理文字，也能理解图片qwen3.5-9b，是一个具有 9b 参数的大模型，也就是 90 亿参数的大模型；这个大模型是已经具备有图片理解，文字识别的能力，因此我们是在一个具备学习能力的模型的基础上把它培养成一个更擅长某种任务的模型；模型的下载可以通过魔塔社区直接下载，权重所占内存大约是 19gb，建议设备内存大小不要低于150gb；本次实验我采用的显卡是 5090，硬盘的大小是 150gb。
2026-08-13 17:51:42
699
2
原创 之乎者也，也能攻击大模型？
这篇论文的出现，并不是说它已经完全打脸了现在大模型的安全机制，更多还是一种“红蓝对抗”下的新发现。它说明了一个值得重视的问题：当模型的语言理解能力越来越强时，安全对齐未必能同步覆盖所有表达空间；文言文只是一个切口，真正值得关注的是隐藏在不同语言形式背后的安全盲区；未来的大模型安全，不能只盯着现代语言和显式攻击，还要关注更加隐晦、更加多样化的表达方式。
2026-08-04 15:29:42
1008
1
原创 AI筑基录——注意力机制篇
这一讲主要是介绍卷积神经网络的一个常见优化方式，我们介绍了三种常见的注意力机制，本源都是来自于我们卷积层输出维度产生的；一般放置的位置是卷积层后面，残差连接的前面；AI筑基录的专栏会慢慢更新完，带大家有体系的理解神经网络的由来！
2026-08-01 15:35:29
1424
1
原创 揭秘 LingBot-World-V2 世界模型的奥秘
LingBot-World v2 能够持续生成世界，但它并不等于真正建立了一个永久存在的三维世界，首先最明显的缺陷就是缺少真正的长期记忆，当用户离开一个区域很长时间以后再返回，模型可能会重新生成一个相似区域，而不是准确恢复之前的场景；并且也是会出现穿模等不符合物理规律的现象；不过这也是目前世界模型依旧攻克的地方，相信在不久的将来这些问题会被不断解决；创作不易！支持一下博主，给博主继续创作的动力！
2026-07-28 15:19:53
1321
2
原创 AI筑基录——卷积神经网络篇
因为这一块的代码注释确实是真的很详细，如果我再继续赘述确实显得比较无聊；我们可以看到一个简单的神经网络的脉络是比较简单的；希望大家可以做到手搓这样的卷积网络，难度不大的；我们在最后结果可以发现实际上这样的一个简单的网络参数量还是很多的，有兴趣的同学可以看看我之前主页的mapping net，这篇文章就是有少量的参数去逼近大参数的效果；AI筑基录的专栏会慢慢更新完，带大家有体系的理解神经网络的由来！
2026-07-24 15:46:03
1308
1
原创 AI筑基录——卷积篇
这一将的概念比较多，还是得花点时间记忆一下；实际上卷积的种类不止介绍的这个普通卷积；比如还有深度可分离卷积，分组卷积，空洞卷积等等内容；后面我们专栏AI筑基录也会慢慢推进这一些内容；有了前面几期的内容，我们下一期就是用 MNIST 数据集做一个简单的实战，我们用完整的神经网络做一个分类任务；浅浅期待一下；AI筑基录的专栏会慢慢更新完，带大家有体系的理解神经网络的由来！0+0+0+0-1+0+0+0+1+0-1+
2026-07-23 14:33:57
1140
2
原创 AI筑基录——梯度下降篇
这一讲我们主要是介绍了梯度下降法和反向传播的内容，基本上是原理部分，暂时还没有涉及到代码的部分，因为前面我们专栏我是打算先把理论部分说明白，后面整合起来讲代码会比较容易理解，希望大家见谅！这一讲的内容确实比较多，希望大家慢慢消化这一部分；AI筑基录的专栏会慢慢更新完，带大家有体系的理解神经网络的由来！
2026-07-22 11:06:44
1825
2
原创 AI筑基录——激活函数篇
为了解决这一个问题，我们先引入一个背景——为什么我们要用激活函数，假设不使用激活函数会有什么代价？明白这个就自然知道什么是激活函数，以及对应的作用！我们看看最简单神经网络，也就是当层数等于1的时候的网络：其实，W 和 b 是我们权重，可以通过方向传播进行动态调整，x 是模型的输入，y 是模型的输出；我们可以通过观察出来实际上这个就是一次函数的表达式接下来我们做一个操作，就是迭代多层，我们看看最后的表达式结果是什么？
2026-07-20 16:36:39
1790
4
原创 AI筑基录——损失函数篇
损失函数的设置，我认为还是一个必须学会的内容；因为如果模型效果好的话，这些东西会不会还挺无所谓，当黑箱用就行了；但是模型结果不好，大概率就不知道怎么去修改；在模型训练的过程中，不同任务的评分标准是不一样的，所以不存在我用一个损失函数就可以吃遍天下的，因此我觉得有必要学习一下损失函数的内容那么损失函数作为我们AI筑基录的第一节，我相信质量要比很多类似的文章要好点；
2026-07-18 15:22:34
1542
1
原创 残差连接也有副作用？CVPR 2026 揭示其对生成式表征学习的伤害
这篇论文并不是要否定残差连接，残差连接仍然是深层网络能够稳定优化的重要基础，但它在解决梯度传播问题的同时，也引入了强烈的信息保留偏置在生成式表征学习中，这种偏置可能让浅层纹理和局部细节过多地进入深层，使模型能够完成像素重建，却缺少形成抽象语义表征的动力。论文的核心，就是随着网络深度增加逐渐削弱恒等路径，让深层承担更多重新组织和抽象特征的任务残差连接不仅决定网络是否容易训练，也会影响网络最终倾向于学习什么样的表征。
2026-07-14 20:54:07
1357
1
原创 参数压缩 500 倍还能涨点？Mapping Networks 让我重新思考“训练“的定义
不是所有参数都值得你去练。你想，一个网络几十万个参数，真的每个数字都有用吗？Mapping Networks 的实验告诉我——可能真正起决定作用的，只是其中很少很少的一部分以前的做法是把所有参数摊开，一个一个调；但它的思路是：先找到那"一小撮"真正管用的参数，只练它们，剩下的让规则自动生成不是练得越多越好，而是练得越对越好找到真正有用的那一小部分，直接优化它们，剩下的交给生成规则——这可能才是更正确的方向虽然复现得不算完美，和论文还有接近 2% 的差距，但只用 1% 的参数就能干到 97% 的准确率。
2026-07-11 15:30:01
1564
1
原创 SAM-3D：当3D生成模型装上语义分割的眼睛
本期我们的3D调研对象是，优势如标题所示，多了一个功能，也就是说可以在复杂的画面中，分割出核心的对象，从而缓解了背景复杂而无法锁定主体的痛点！【叠甲声明】笔者目前仍在大一学习中，若有错误，请大家在评论区指出！（针对上一期的评论，我们在本文后面进行回复）接下来，我们坐好发车！
2026-06-27 23:33:39
1128
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人