- 博客(10)
- 收藏
- 关注
RSS订阅原创 为什么temperature=0时大模型输出仍不固定？揭秘确定性幻觉背后的工程真相
temperature=0 的“确定性”是理论简化，工程实现中常被近似值替代真正确定性需主动启用 argmax + 固化种子 + 关闭非确定性路径 + 环境锁定必须通过百次级压测验证输出稳定性，避免被偶然一致性误导。
2026-02-23 01:17:24
412
原创 多奖励 RL 优化神器 GDPO：彻底解决 GRPO 的奖励坍缩问题
举个直观例子：任务有两个二值奖励（0 = 不达标，1 = 达标）：准确奖励（r1）和格式奖励（r2）；回答 A：r1=0（不准确）、r2=1（格式对）→ 总分 = 1；回答 B：r1=0（不准确）、r2=2（假设格式超优，总分 = 2）；按道理，回答 B 的优势应该比 A 大，但 GRPO 归一化后，两者的优势值完全相同！这种 “好坏不分” 的后果很严重：模型拿到的学习信号 “分辨率变低”，不知道该优先优化哪个维度；训练收敛慢、不稳定，甚至早期直接失败；
2026-01-16 19:39:36
1275
原创 MUSE：一个“多模态 + 搜索式”的超长序列用户兴趣建模框架
论文标题：MUSE: A Simple Yet Effective Multimodal Search-Based Framework for Lifelong User Interest Modeling论文链接：https://arxiv.org/abs/2512.07216数据集链接：https://taobao-mm.github.io/MUSE 的核心思想是——检索阶段（GSU）别复杂化：用高质量多模态 embedding 做一次 Top-K 语义检索就够了；
2026-01-03 01:04:04
876
原创 多模态学习笔记(三)：Frozen：把图片“翻译成提示词”，让冻结的大语言模型学会看图做 Few-Shot
论文名称：Multimodal Few-Shot Learning with Frozen Language Models论文：https://arxiv.org/abs/2106.13884参考：代码：https://github.com/ilkerkesen/frozen?prefix/prompt 在文本领域已经“势不可挡”，那能不能把这种 in-context learning 的能力带到多模态里？Frozen 给出的答案是：可以，而且不需要微调大语言模型。
2025-12-20 14:27:13
861
原创 多模态学习笔记（二）—VLMo：混合模态专家transformer
VLMo 是一个“混合模态专家（Mixture-of-Modality-Experts）Transformer”，预训练好之后既能当双塔做高效检索，又能当单塔做多模态理解。它有几个关键特点：结构上：把普通 Transformer 里的 FFN 换成“按模态分工”的专家库（视觉专家、文本专家、视觉-语言专家），自注意力模块在不同模态间共享。使用上：需要高效检索时，可以作为。
2025-12-07 20:49:08
1012
原创 多模态学习笔记（一）- CLIP：用自然语言教会模型看图
参考：https://zhuanlan.zhihu.com/p/625165635论文：https://arxiv.org/abs/2103.00020代码：https://github.com/openai/CLIPCLIP 最特别的一点是。
2025-12-03 11:29:47
1088
原创 LoopTool 论文速读笔记：让 Tool-Calling 模型“边训练边进化数据”的闭环框架
下面用比较通俗的方式把核心思路和流程捋一遍，顺便记录下我觉得最有价值的细节。
2025-11-23 19:59:49
737
原创 一文读懂 Agentic Context Engineering（ACE）：把 Prompt 当“记忆库”增量升级
ACE ：一种把上下文（系统提示、检索记忆、代理笔记等）做成“可增量更新的卡片库”的方法。通过生成→反思→整理的模块化流水线，持续积累可复用策略，并且避免“上下文坍塌”。为什么需要：让 LLM 每次“整段重写”上下文既慢又易丢信息；ACE 用小粒度 Delta 更新替代“大重写”，让知识越用越好，成本更低。怎么做：Generator 生成推理轨迹暴露“有效套路/常见坑”；Reflector 从成功/失败里提炼“可复用经验”；
2025-10-17 17:03:23
932
原创 合成控制法（Synthetic Control Method）笔记及R/Python实现
最近在写本科毕业论文，想要探究中国区域政策对某个商品销量的具体影响，于是有幸了解到合成控制法（DID做不到但是它做到了！），记录一下学习笔记，以免之后忘记。本文主要翻译至Abadie 等（2010）提出的合成控制法https://doi.org/10.1198/jasa.2009.ap08746R代码引用Python代码引用。
2024-04-30 21:44:43
9943
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人