- 博客(30)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Language Multi-modal Models (LMMs) 详解
大语言模型（LLMs）。这类模型通常基于 Transformer decode-only 架构，在海量无标注文本语料上进行预训练。其核心预训练任务是预测下一个 token，这一目标驱动着模型的学习过程。Lt1∑NlogPθxt1∣x1t其中，P代表大语言模型，θ是模型的可训练参数。训练目标是在给定前序 tokensx1tx1⋯xt的条件下，最大化下一个 tokenxt1出现的概率。
2025-10-16 13:53:34
317
原创 DeepSeek DualPipe 调度细节及其 MoE A2A 通信掩盖
首先我们要了解什么是 MoE all-to-all（A2A）通信。如图，在原本的 Transformer 模型中，Attention 层后紧跟着 FNN 层。而在 MoE Transformer 模型中，部分 FNN 被替换成 MoE 层，一般情况下专家被分布在不同 GPU / 节点上。经由 Attention 层计算后的每个 token 都会被分发到 top_k 个专家，再由专家计算后发送回原本 token 所在的 GPU。在 PP 并行时，假设stage2stage2Attention。
2025-10-10 15:35:21
50
原创 DeepSeek Sparse Attention（DSA）快速洞察（DeepSeek-V3.2）
DeepSeek-V3.2 技术报告中提到的是一种旨在提升上下文处理效率的稀疏注意力机制。
2025-10-10 15:16:45
1510
原创 一文读懂所有流水线并行方案：Gpipe、1F1B PipeDream、Zero Bubble、DualPipe
接下来，我会按照流水线并行的技术演进路线，介绍其中大部分流水线并行方案，本篇内容通俗易懂，篇幅较长，适合初入流水线并行的研究者和对流水线并行概念不清楚的读者阅读。
2025-09-25 15:05:25
641
原创 什么是 Attention Mask？（保姆级攻略）
使我们能够将一批长度不一的样本输入Transformer 模型。具体实现方式是先将所有序列填充至相同长度，再通过张量来标识哪些标记属于填充部分。这里发生了什么？这与注意力掩码又有什么关系？首先我们来解释填充（padding）的概念，然后逐行分析代码。我们将tokens以张量形式输入到基于 Transformer 的语言模型（如 GPT-2 和 BERT ）中进行推理。张量类似于Python列表，但具有一些额外特性和限制。具体而言，对于二维及以上的张量，该维度中的所有向量必须保持相同长度。例如，
2025-09-19 16:26:29
1190
原创 【自存】懒汉式单例模式中的多线程经典问题
单例模式能保证某个类在程序中只存在唯一一份实例，而不会创建出多个实例。这一点在很多场景上都需要。比如 JDBC 中的 DataSource 实例就只需要一个。单例模式的具体实现方法又分为和因为我们单例模式只能有，那如何去保证一个实例呢？我们会马上想到类中用修饰的类属性，它只有一份！保证了单例模式的基本条件！
2025-09-15 11:04:09
534
原创 【论文导读】AlphaEvolve：A coding agent for scientific and algorithmic discovery
我们（Google）介绍了 AlphaEvolve，它是一种进化编码 agent ，可大幅提升最先进的 LLM 在高难度任务（如解决开放科学问题或优化计算基础设施的关键部分）上的能力。AlphaEvolve 负责协调 LLM 的自主流水线，其任务是通过直接修改代码来改进算法。AlphaEvolve 采用进化方法，不断接收来自一个或多个评估者的反馈，迭代改进算法，从而可能带来新的科学和实践发现。我们将这种方法应用于一些重要的商业问题，从而证明了它的广泛适用性。
2025-06-10 19:20:06
1755
原创 如何理解强化学习大模型微调中RW模型和RL模型的损失函数
大语言模型微调中训练RL模型最常用的优化方法是近端优化算法（Proximal Policy Optimization, PPO）。RL损失函数本质上是在奖励模型打分、人类偏好约束和通用能力三者间平衡，既要输出优质答案，也不能偏离原有分布太远，还要保持通用能力。(3) 生成调优模型（Tuned Language Model, RL Policy）(2) 初始语言模型（Base Language Model)(4) 奖励模型（Reward Model）(4) Sigmoid函数。(2) KL 散度部分。
2025-06-10 12:26:31
1337
原创 《Coevolutionary computation and its application》协同演化及其应用中文对照·第一章
本文介绍了演化计算的基本概念及其应用
2025-06-04 23:04:26
1047
原创 【约束非线性优化】ADMM算法精讲
在本节中，我们将介绍一种用交叉方向乘子法（ADMM）解决带约束的最小化问题的框架。该方法非常通用，可用于解决一大类有约束的最小化问题。
2024-11-02 17:28:48
2205
2
原创 【约束非线性优化1】投影梯度下降法
前面章节我们介绍了梯度下降法来解决无约束的非线性优化问题。那么如何解决带优化的非线性优化问题呢？一个直观的想法是：我们依旧先进行梯度下降到一个相对较小的点，然后再将这个点通过某种方式投影到可行域内。xk21xk−ηk∇fxkxk21Ωxk1∈argx∈Ωmin∣∣x−xk21∣∣记”把x投影到ΩPΩxargx′∈Ωmin∣∣x′−x∣∣，对于凸可行域，投影PΩx。
2024-11-02 14:44:43
2742
原创 【笔面试常见题：三门问题】用条件概率、全概率和贝叶斯推导
不失一般性，假设我们最初选择1号门，然后主持人打开3号门。A1A_1=A1汽车在1号门后A2A_2=A2汽车在2号门后A3A_3=A3汽车在3号门后B3B_3=B3主持人打开3号门PA1PA2PA313PA1PA2PA331如果汽车在1号门后，那么主持人可以选择打开2号门或3号门。
2024-11-01 21:22:03
2203
原创 【SVM手把手推导】对偶问题应用之支持向量机SVM（Hard Margin）
{(siyiyi∈1−1i1⋯m，我们想要找到一个（decision hyperplane），用方程表示为xTsb0，使两个类别的样本尽量分开，如图：SVM的目标就是最大化分类间隔（margin），所以找到 margin 的数学表达式至关重要。
2024-10-30 21:29:55
1580
原创 【约束优化】一次搞定拉格朗日，对偶问题，弱对偶定理，Slater条件和KKT条件
对一个约束优化问题：minxf(x)s.t. gi(x)≤0,i=1,⋯ ,mhi(x)=0,i=1,⋯ ,p\min\limits_{\mathbf{x}} f(\mathbf{x})\\\text{s.t. } g_i(\mathbf{x})\leq0,i=1,\cdots,m\\h_i(\mathbf{x})=0,i=1,\cdots,pxminf(x)s.t. gi(x)≤0,i=1,⋯,mhi(x)=0,i=1,⋯,p不等式约束：gi:Rn↦R,i=1,⋯ ,mg_i:\R^n\
2024-10-30 17:37:08
1330
原创 【混合模型】一文搞懂混合模型、高斯混合模型（GMM）、EM算法
聚类是将一组对象根据它们的相似性进行分组，使得同一组内的对象相比于其他组的对象更加相似。聚类是一种，即在没有事先给定类别标签的情况下，根据相似性对对象进行分组。这与分类（有监督学习）问题不同，分类是基于已知的类别标签进行分类的。聚类问题分为（hard clustering）和（soft clustering），前者将每个对象明确地进行划分，如K-means算法，而后者每个对象可以以某种概率或权重属于多个簇。
2024-10-27 17:24:20
2308
原创 【隐变量（潜在变量）模型】硬核介绍
上一节我们介绍了贝叶斯推断的几种方法，本文介绍了贝叶斯推断的目的以及当无法使用贝叶斯推断时如何推断似然函数的方法。
2024-10-26 16:31:01
3039
原创 【退化Degeneracy】线性规划中的退化问题
【定义2.9】：一个向量x∗\pmb{x^*}x∗如果是基本解，则需满足：（a）满足所有等式约束都激活（b）在x∗\pmb{x^*}x∗处激活的约束条件中，有nnn个约束条件是线性独立的【例1】
2024-09-08 14:57:08
1875
原创 一文看懂为什么线性规划中标准型与基本型等价
在一个一般的线性规划问题中，我们给出成本向量cc1c2⋯cncc1c2⋯cn和nnn维变量xx1x2⋯xnxx1x2⋯xn，在一系列线性等式和不等式的约束下，要求目标函数c′x∑i1ncixic′x∑i1ncixi的最小（大）值。设M1M2M3M1M2M3是有限下标集，对任意集合中的元素iii，都对应一个nnn。
2024-09-06 15:59:06
1309
原创 【HarmonyOS NEXT】踩坑！Scroll中使用relativeContainer无法滚动问题
Scroll作为可滚动的容器类组件，它最多包含一个子组件，Scroll而。
2024-07-26 23:07:38
960
原创 【HarmonyOS NEXT】超简单方法实现Text组件展开/收起
笔者在学习时发现网上很多方法实现的Text组件展开/收起效果比较复杂，且涉及到计算，于是查阅了相关文档，尝试通过Text组件自带的属性函数实现需求，以下为解决方案：
2024-07-26 17:57:41
1009
原创 【HarmonyOS NEXT】HarmonyOS自带的icon图标库如何使用
如何使用HarmonyOS NEXT自带的图标库，并且附上导入外部字体图标ttf的方法
2024-07-26 15:04:51
5010
原创 【HarmonyOS Next】如何实时监控Scroll组件水平方向滚动偏移量
运用Scroll组件事件onDidScroll实现实时监控水平方向滚动偏移量，并且提供了onDidScroll正常使用说明
2024-07-25 13:10:41
1405
原创 【谁用谁爽系列】word公式编号和引用
这篇文章给大家介绍一个非常好用的word公式编号方法，可以自动编号，且能交叉引用，且操作方便，不需要写代码。注：方法来自一位bilibili up主@我是啸行。
2024-03-24 22:19:18
1164
原创 【说人话-论文导读1-1】约束进化优化的随机排序算法Stochastic Ranking for Constrained Evolutionary Optimization（持续更新中）
论文导读：Stochastic Ranking for Constrained Evolutionary Optimization
2024-03-08 17:21:02
1147
1
原创 【Vue报错】The target environment doesn‘t support dynamic import() syntax so it‘s not possible to use ex
引入外部js（在线js）时Vue报错：The target environment doesn't support dynamic import() syntax so it's not possible to use external
2022-11-18 03:19:06
5049
原创 如何在Vue框架下使用普通html中的js代码
对于很多像笔者一样的新手前端开发者，在编写前端代码的时候，大多是边学边写的状态。在做一些个人的、非商业的项目时，我们也许会经常去到各类前端设计网站获取灵感和素材（e.g. https://codepen.io/）。然而在Vue架构下，素材网站的普通的js代码并不能像html一样简单粘贴，网上相关解决办法也比较少，笔者进行相关探索后总结经验如下。如何在Vue框架下使用普通html中的js代码：举个例子
2022-11-09 17:52:49
2369
2
原创 【CS202计算机组成原理】一次性搞懂cache中size, block, index, offset, tag相关计算
SUSTech的朋友，搞懂cache的相关计算，看这一篇就够啦！！
2022-06-11 00:45:11
19112
4
《Coevolutionary Computation and Its Applications》详细介绍了协同演化及其应用，由Xin Yao和Siang Yew Chong合著
2025-06-04
【Free to Download】Introduction to Linear Optimization.pdf
2024-09-04
如何用Java Swing实现“电子宠物大作战”中的文字对战动态
2021-05-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人