- 博客(31)
- 收藏
- 关注
RSS订阅原创 Boosting 家族————AdaBoost算法
核心逻辑：AdaBoost 通过迭代调整样本权重聚焦错分样本，通过分类器权重赋予效果好的弱分类器更高投票权，最终加权组合成强分类器；关键公式：核心是误差率计算、分类器权重、样本权重更新三个公式，决定了每轮迭代的方向；代码要点：弱分类器常用决策树桩，样本权重需传入训练过程，最终预测是所有弱分类器的加权投票。
2026-03-08 00:00:00
544
原创 机器学习————几何深度学习
域结构分析：挖掘高维欧氏数据中嵌入的低维非欧结构，如流形学习、图结构挖掘，属于无监督学习；域上信号分析：分析和学习定义在已知非欧域上的信号，是 GDL 的核心，目标是将 CNN 推广到该场景。
2026-03-04 00:46:27
839
原创 机器学习————因果学习
V：内生变量（可观察、可干预的变量，如价格、销量、治疗方案）；U：外生变量（隐变量、背景变量，如个体基因、未观测的混杂因素）；F：因果函数集；P(u)：外生变量的联合分布，决定了内生变量的观测分布。将目标因果量Q表示为 SCM 的属性，即明确要估计的因果查询。
2026-03-03 00:57:07
1700
原创 机器学习————世界模型
当人们谈到世界模型时，必然绕不开一篇巨作———《World Models》。这篇文章是世界模型开山与标杆，首次提出 “世界模型” 三组件，即VAE+RNN + 控制器，用模型生成虚拟数据训练策略，奠定世界模型范式。接下来，我的内容也会围绕这篇文章，解读世界模型的核心机理，如果有不足，请大家的批评指正。文章结尾处，会放置文章链接。
2026-03-02 00:00:00
1117
原创 堆叠学习————Blending算法
选择和Stacking相同的3类模型，便于对比效果('rf', RandomForestClassifier(n_estimators=100, random_state=42)), # 随机森林('svm', SVC(probability=True, random_state=42)), # SVM（输出概率）('knn', KNeighborsClassifier(n_neighbors=5)) # K近邻。
2026-03-01 00:00:00
1484
原创 堆叠学习————lending算法
选择3种不同类型的模型，避免单一模型的偏差('rf', RandomForestClassifier(n_estimators=100, random_state=42)), # 随机森林('svm', SVC(probability=True, random_state=42)), # SVM（开启probability=True，输出概率）('knn', KNeighborsClassifier(n_neighbors=5)) # K近邻（k=5）核心逻辑。
2026-02-28 00:00:00
1232
原创 Bagging————Random Forest算法
随机森林核心：通过 “样本随机（Bootstrap）+ 特征随机” 降低单棵树的过拟合和相关性，最终用投票或均值融合结果；核心公式：分类用多数投票公式，回归用均值公式，双随机是其区别于普通 Bagging 的关键。
2026-02-27 03:16:28
915
原创 多模态————Flamingo算法
第 t 代第 i 只火烈鸟的位置。，第 t 代全局最优火烈鸟的位置最优解。，第 t 代火烈鸟群体的平均位置。N，火烈鸟种群规模。d，解空间维度。α，觅食步长因子（通常 0<α<1）。β，聚集因子（通常 β∈[0,2]）。r1,r2，随机数（0<r1,r2<1）。P，迁徙概率（通常 P=0.1）。"""Sphere函数：用于测试优化算法的经典函数，最小值在x=0处，值为0参数x：单个火烈鸟的位置（d维向量）返回：函数值（越小越优）""""""初始化参数"""
2026-02-26 02:44:15
1493
原创 多模态————CLIP
批量大小（N=4），即每次训练4组图文对# 图文编码后的向量维度（D=512），统一图像和文本的输出维度# 温度系数τ（CLIP默认0.07），用于缩放相似度，调节损失分布# 设备选择：优先使用GPU（cuda），无GPU则用CPU核心逻辑：CLIP 通过跨模态对比学习，让图文编码器学习 “匹配对向量相似、不匹配对向量疏远”，核心是归一化 + 余弦相似度 + InfoNCE 损失；关键公式：损失函数由图像到文本、文本到图像两部分交叉熵组成，温度系数 τ 用于调节相似度分布；
2026-02-25 03:00:00
1149
原创 计算机视觉CV领域————Swin Transformer
核心创新：Swin Transformer 用「窗口注意力」降低计算复杂度，用「移位窗口注意力」解决窗口间信息孤立问题，适配高分辨率视觉任务；数学核心：窗口内自注意力公式，其中掩码 M 是移位窗口的关键；代码核心：窗口划分 / 还原是窗口注意力的基础；移位 + 掩码是实现 Shifted Window 的核心；Patch Merging 实现分层下采样，模仿 CNN 的层级特征。
2026-02-24 00:00:00
1689
原创 计算机视觉 CV 领域————VIT算法
ViT 核心流程：图像分块→添加分类 Token→位置编码→Transformer 编码器→分类头，核心是用自注意力捕捉全局特征关键设计：Patch Embedding 将 2D 图像转为 1D 序列，分类 Token 专门用于分类，可学习位置编码适配图像任务代码核心：多头注意力的维度变换、残差连接 + 预归一化的编码器结构、仅使用分类 Token 做预测的设计。
2026-02-23 03:15:00
2213
原创 NLP 领域————RoBERTa
核心概念：RoBERTa 是 BERT 的优化版本，核心改进是动态掩码、移除 NSP、更大批次、更长训练时间，模型结构仍基于 Transformer Encoder，训练目标为 MLM。数学核心：自注意力机制是 RoBERTa 的基础，MLM 损失函数是训练的核心目标，通过最大化掩码 token 的预测概率优化模型。实战要点：使用 Hugging Face 的库可快速调用 RoBERTa，微调时注意学习率（2e-5 左右）、批次大小和文本长度的设置，训练时区分train()和eval()模式。
2026-02-22 00:00:00
1079
原创 NLP领域————T5算法
T5 核心：所有 NLP 任务统一为 “文本输入 + 任务前缀→文本输出”，基于纯 Encoder-Decoder 的 Transformer 架构。关键公式：核心是自注意力和多头注意力，损失函数为交叉熵。代码核心：用 Hugging Face 加载预训练 T5 模型，加任务前缀编码文本，调用generate生成输出，最后解码得到结果。关键注意点：T5 必须加任务前缀，否则模型无法识别任务类型；生成时num_beams是影响生成质量的关键参数。
2026-02-21 00:00:00
1026
原创 NLP领域————GPT算法
nn.Linear(embed_dim, 4 * embed_dim), # 前馈网络第一层扩维4倍nn.GELU(), # GPT用的激活函数nn.Linear(4 * embed_dim, embed_dim) # 缩维回原维度# 层归一化（Pre-LN，先归一化再计算）# 1. 注意力层 + 残差连接 + 层归一化# 2. 前馈网络 + 残差连接 + 层归一化return x# 1. Token嵌入层：把token索引转成向量# 2. 可学习的位置编码（GPT的核心特点之一）
2026-02-20 00:00:00
1140
原创 NLP 领域————BERT算法
定义要测试的文本，其中[MASK]是 BERT 的专用掩码标记—— 代表需要模型预测的位置，这是 MLM 任务的核心标识，模型会自动识别这个标记并预测它对应的词。text = "今天的天气很[MASK]，适合出门散步。核心概念：BERT 的核心是双向自注意力 + MLM 预训练，能理解上下文语义，输入是 “词嵌入 + 句子嵌入 + 位置嵌入” 的叠加。核心公式：多头自注意力是 BERT 的基础，MLM 损失是预训练的核心目标，本质是交叉熵损失。
2026-02-19 00:33:48
1457
原创 NLP领域————Transformer
核心本质：Transformer 用自注意力机制替代 RNN 的顺序计算，能并行处理序列，同时捕捉全局关联；关键模块：位置编码补顺序、多头注意力分维度捕捉关联、残差 + 层归一化稳训练；数学核心：缩放点积注意力是核心公式，通过 Q/K/V 的矩阵运算实现加权求和，多头是对该公式的扩展。如果大家需要具体的实例讲解，欢迎大家评论区留言！
2026-02-14 23:55:41
1083
原创 机器学习————Q-Learning/SARSA算法
第 t 步时，状态 S 下执行动作 A 的 Q 值估计；，学习率（0 < α ≤ 1）；，折扣因子（0 ≤ γ ≤ 1）；，执行动作 A 后获得的即时奖励；，执行动作 A 后进入的新状态；，在新状态下选择的动作（SARSA 专用）；"""ε-贪心策略：平衡探索与利用参数：Q_table: Q值表（二维数组，行=状态，列=动作）state: 当前状态epsilon: 探索概率（0<ε<1）返回：选择的动作"""# 生成0-1随机数，若小于ε则随机探索（选任意动作）
2026-02-13 00:02:30
1019
原创 机器学习————标签传播算法
图结构，V 是节点集合。，有标签或无标签节点集合。，节点 i 的标签，yi∈Y（Y 是标签集合，如 {0,1,2}）。，节点 i 的邻居集合，直接相连的节点。，指示函数，条件满足为 1，否则为 0。，转移矩阵。"""标签传播算法（硬更新/投票版）:param graph: NetworkX图对象，节点需包含属性 'label'（有标签节点赋值，无标签为None）:param max_iter: 最大迭代次数（防止无限循环）:return: 最终节点-标签字典 {节点ID: 标签}
2026-02-12 10:42:46
1122
原创 机器学习————t-SNE
核心思想：将高维高斯相似性概率与低维 t 分布相似性概率做 KL 散度匹配，保留局部结构；核心改进：低维用 t 分布解决拥挤、高维概率对称化简化梯度、早期压缩避免局部最优；核心超参数：困惑度取有效近邻数，经验取值 5~50；适用场景：高维数据的可视化，如基因数据、图像特征、文本嵌入。如果有一些概念不清楚的话，大家可以留言。
2026-02-11 19:31:45
1636
原创 机器学习————主成分分析
定义：PCA 是无监督降维算法的核心，核心目标是将高维、可能存在线性相关的特征，通过线性变换映射到低维空间，得到互不相关的主成分，同时尽可能保留原始数据的信息，如：方差。总而言之，PCA 就是在高维数据中找几个 “最优的坐标轴”，让数据在这些坐标轴上的分布最分散也就是方差最大，用这几个坐标轴代表原始高维数据，实现降维且信息损失最小。
2026-02-02 12:22:36
1689
原创 机器学习————DBSCAN 聚类
密度相连性：聚类内任意两点都密度相连；最大性：聚类外的点与聚类内的点都不密度相连。总结：聚类是由核心点及其密度可达的所有点组成的集合，边界点依附核心点存在，噪声点无任何核心点支撑。DBSCAN 是基于密度的聚类，用ε- 邻域和MinPts定义密度，将点分为核心点、边界点、噪声点；聚类由核心点及其所有密度可达的点组成，边界点依附核心点，噪声点无核心点支撑；核心逻辑是核心点的 ε- 邻域扩展，将所有密度相连的点纳入同一个聚类。如果有不足，请大家的批评指正！
2026-01-29 23:35:29
1409
原创 机器学习————层次聚类
层次聚类是自底向上凝聚型的无监督聚类，核心是通过合并最相似的聚类生成树状图，无需提前指定 k，树状图切割后可得到任意数量的聚类；层次聚类的核心是类间距离——链接方式，常用 4 种：Ward——工业界首选、平均、单、全链接，样本间距离最常用欧氏距离，且聚类前必须做数据标准化；层次聚类的优势是可解释性强、生成分层结构，缺点是时间复杂度高，适用于小样本的探索性聚类或需要分层结果的场景。内容有限，只具体写了一部分的相关内容，如有不足，期待大家的批评指正！
2026-01-28 21:37:50
1008
原创 机器学习————K-Means 聚类
定义K-Means聚类核心类# 类的初始化方法（创建实例时执行，设置超参数和核心变量）"""K-Means模型初始化函数:param n_clusters: 聚类数量k（默认值2）:param max_iter: 最大迭代次数（默认值300，防止无限循环）:param tol: 质心收敛阈值（默认值1e-4，质心变化小于该值则停止迭代）"""# 保存聚类数量k到实例属性# 保存最大迭代次数到实例属性# 保存收敛阈值到实例属性。
2026-01-27 11:53:22
940
原创 机器学习————神经网络
神经网络是一种模仿人脑神经元结构的机器学习模型，由输入层隐藏层输出层组成，核心是通过数据驱动的方式学习输入与输出之间的映射关系。（注：通过输入层隐藏层输出层顺序串联，完成从原始数据到最终预测结果的转换，就像工厂的 “原材料接收→加工生产→成品输出” 流水线，且只有输入层和输出层是 “可见层”，直接对接数据和结果；隐藏层是网络的 “黑箱核心”，负责特征学习和数据变换。神经网络本质：通过权重和偏置的学习，实现输入到输出的非线性映射，核心是 “前向传播算输出，反向传播更参数”；
2026-01-26 23:00:08
1470
原创 机器学习————支持向量机
3. 定义并训练SVM模型（对比线性核和RBF核）# 3.1 线性核SVM# C=1.0：惩罚系数（默认值），C越大对误分类惩罚越重；kernel='linear'指定线性核svm_linear.fit(X_train, y_train) # 用训练数据训练模型# 3.2 RBF核SVM（处理非线性场景）# gamma='scale'：gamma是RBF核的参数，scale表示gamma=1/(n_features * X.var())# gamma越大，模型越容易过拟合；
2026-01-24 20:35:12
930
原创 机器学习————随机森林
我只对随机森林进行了简单的讲解，大家有不明白的可以评论留言。代码部分，我只以分类任务为例，如果对回归任务有需求，大家也可以留言。
2026-01-23 20:54:29
1037
原创 机器学习————决策树
信息熵的定义：信息熵是信息论中衡量随机变量不确定性的指标，对应决策树中数据集的 “混乱度”：熵越大，类别分布越均匀，混乱度越高，纯度越低；熵越小，类别分布越集中，混乱度越低，纯度越高。数据集D的信息熵公式为：；(注：熵的取值范围：,当所有样本为同一类别时，H(D)=0,纯度 100%；当类别均匀分布时，，混乱度最大。对于某一特征，取其固有值为该特征划分数据集的 “信息熵”，取值数越多，固有值越大。固有值公式为：(注：若特征a的取值数越多，划分后的子集数越多，固有值越大，归一化效果越强。
2026-01-22 21:10:18
1031
原创 机器学习————线性回归
我写的很基础，大家可以选择性的阅读自己需要的，如果有不足之处大家可以提出。之后我也会更新其它的机器学习方法。...+by_%7Bi%7D。
2026-01-18 02:26:49
207
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人