- 博客(22)
- 收藏
- 关注
RSS订阅原创 Transformer 万字讲解,超详细
本文详细讲解了Transformer模型的核心原理和实现过程。首先回顾了词嵌入(Word Embedding)的原理，包括如何通过降维和携带语义信息解决one-hot编码的问题。然后重点讲解了位置编码(Positional Encoding)的方法，通过三角函数为词向量添加位置信息。接着深入解析了Transformer的核心部分：注意力机制(Multi-Head Attention)的工作原理，包括Q、K、V的计算方式和自注意力机制。
2025-10-23 22:23:45
1164
原创 Normalization（归一化/标准化）的通俗讲解
【摘要】Normalization（归一化/标准化）旨在解决不同特征量纲差异导致的问题。当特征数值范围差异大时（如身高1.5-2.0米vs体重40-100公斤），模型会偏向数值大的特征、训练速度变慢且易出现梯度爆炸。核心方法包括：1）Min-Max归一化（缩放到[0,1]），简单但对异常值敏感；2）Z-Score标准化（均值0、方差1），抗异常值但无固定范围；3）BatchNorm（神经网络层间标准化），加速训练但依赖大批量数据；4）LayerNorm（单样本特征标准化），适合序列模型。其本质是通过统一数据
2025-10-23 17:42:15
1199
原创 Word embedding :transformer 的前置知识
每当别人问你一个梗的时候,你总是不假思索的回答出下一句话来,(当然,一个未被互联网开发过的大脑是无法get到的)试想一下,如果把你的大脑想象成一个神经网络,而互联网的短视频的各种离奇文案是你的训练集而互联网的这些文案其实可以拆分成一问一答的样子,诸如:问: 你最不想你兄弟干什么?答:兜不住*问:冰红茶 答:国窖问:City 不 City 呀?答:好City呀!
2025-10-11 00:40:14
732
原创 多目标识别YOLO :YOLOV3 原理
YOLOv3是一种高效的单阶段目标检测算法，通过单次前向传播即可预测目标位置和类别。其核心框架采用Darknet-53主干网络，结合特征金字塔结构输出13×13、26×26、52×52三种尺度的检测结果，分别对应大、中、小目标的检测。每个网格预测3个边界框，使用预定义的锚框和偏移量计算实现高效定位。网络通过255个通道输出（85×3），包含80个类别概率、4个坐标偏移和1个置信度。
2025-10-07 22:32:41
1135
4
原创 ResNet(详细易懂解释)：残差网络的革命性突破
ResNet（残差网络）通过引入"快捷连接"解决深层网络训练中的退化问题。传统深度网络随着层数增加会出现性能下降，因为直接学习恒等映射非常困难。ResNet创新性地将训练目标改为学习残差（目标与输入的差值），通过将输入直接跨层传递并与卷积结果相加，使网络只需优化残差部分。这种机制让超深网络至少能保持浅层网络性能，同时显著提升训练效果。代码实现仅需在原卷积网络中加入输入与输出的相加操作，简单却高效。该算法由何恺明提出，被誉为深度学习领域的重大突破。
2025-09-12 21:45:12
1395
1
原创 机器学习,分类模型,深度学习的性能指标
本文介绍了机器学习中常用的距离度量方法和模型评估指标。距离度量包括欧式距离、曼哈顿距离、夹角余弦和信息熵等，用于衡量数据相似性。回归任务常用MAE、MSE、RMSE和R²指标，其中R²反映模型解释变量变异的能力。分类任务评估指标包括准确率、混淆矩阵、精确率、召回率、Fβ Score以及PR曲线和AP值，其中PR曲线越靠近右上角表明模型性能越好。文章特别强调了准确率在不平衡样本中的局限性，并详细解释了R²的取值范围及其意义。
2025-09-09 11:13:24
1245
原创 梯度下降的优化器原理讲解(详细!)
本文探讨了梯度下降算法的优化方法。首先指出标准梯度下降算法在大数据量下计算量巨大的问题，由此引入随机梯度下降(SGD)算法，通过随机采样部分数据减少计算量。随后针对SGD存在的震荡和收敛慢问题，提出动量优化方法，通过记录历史梯度方向来平滑下降路径。进一步介绍了Nesterov加速梯度(NAG)算法，通过"前瞻性"计算梯度来优化方向。最后讨论学习率优化算法，包括AdaGrad的自适应学习率、RMSProp的加权平均方法，以及结合动量和学习率优化的Adam算法。这些优化方法共同提升了神经网络
2025-09-07 17:36:15
749
1
原创 梯度下降算法(正向传播与反向传播)
本文系统阐述了机器学习中梯度下降法的原理与应用。首先指出机器学习本质是寻找最优函数F(X)以最小化损失函数L(Y,F(X))。通过线性回归模型，详细解释了平方损失函数(MSE)的数学性质及其优势：放大误差、可微性、唯一最小值。重点推导了梯度下降法的数学原理，包括参数更新公式、学习率的作用，并扩展到高维情况。最后简要介绍了正向传播与反向传播的关系，强调梯度下降是优化算法的核心思想。全文从二维示例出发，逐步深入至多维参数空间，系统讲解了如何通过梯度下降法寻找最优模型参数。
2025-09-05 15:28:13
808
原创 M-P神经元模型解析
本文探讨了如何通过M-P神经元模型将线性回归拓展为解决非线性问题。首先回顾线性回归模型及其局限性，指出其无法处理复杂分布数据。通过引入Sigmoid等激活函数，实现了线性模型向非线性的转变，这模拟了生物神经元的工作机制：当输入信号加权和超过阈值时被激活。重点分析了阶跃函数的缺陷及其被Sigmoid函数替代的原因——后者具有良好的可微性，便于梯度下降优化。最终构建了完整的M-P神经元模型，将阈值整合为偏置项，用平滑激活函数实现非线性转换。这一过程既体现了数学建模思想，也模拟了生物神经元的信息处理方式。
2025-09-02 17:08:38
836
原创 Apriori算法+代码实现
Apriori算法是一种经典的数据挖掘算法，用于发现频繁项集和关联规则。其核心思想是：如果一个项集是频繁的，那么它的所有子集也一定是频繁的。算法通过计算支持度（项集出现频率）、置信度（规则可靠性）和提升度（相关性强度）来评估关联规则。在电商场景中，Apriori算法可帮助发现商品间的强关联组合（如尿布与啤酒），从而优化推荐策略。算法实现包括连接步和剪枝步，通过迭代筛选满足最小支持度和置信度的频繁项集。该算法能有效处理大规模交易数据，挖掘潜在的消费模式。
2025-08-25 19:11:41
825
1
原创 K-means 算法原理以及实现过程
K-means是一种经典无监督聚类算法，通过迭代将数据划分为K个簇，使簇内相似度高、簇间差异大。算法流程包括初始化中心点、分配数据点、更新中心和迭代优化。K值选择是关键，可采用肘部法则（SSE）或K-means++优化初始质心位置。评估指标包括簇内平方和（SSE）和轮廓系数，后者能综合衡量内聚性与分离性。轮廓分析通过可视化各簇轮廓系数的分布情况，更直观评估聚类质量。代码示例展示了如何实现K-means及评估不同K值的效果。
2025-08-23 15:46:47
1881
1
原创 MATLAB 计算函数积分
这里integral 函数不可用，但是int 可以，但int 函数只适合一重函数积分，所以把他变成一重函数积分。disp 是显示参数。
2024-07-06 20:26:19
883
原创 MATLAB 求解微分方程
微分方程的数值解是相对于解析解而言的，它指的是在无法或不需要找到微分方程的精确解析解时，通过数值计算得到方程在特定点或特定区间上的近似解。定义微分方程的数值解是方程的近似解，通常通过一系列离散点上的函数值来逼近真实解。与解析解的区别解析解通常表示为初等函数形式，能够精确地给出函数在定义域内的值。数值解则是通过数值方法（如迭代、差分等）得到的近似解，适用于解析解难以表示或计算量较大的情况。
2024-07-01 21:25:46
5259
原创 费解的开关-ACwing-95
你玩过“拉灯”游戏吗？25盏灯排成一个 5×5 的方形。每一个灯都有一个开关，游戏者可以改变它的状态。每一步，游戏者可以改变某一个灯的状态。游戏者改变一个灯的状态会产生连锁反应：和这个灯上下左右相邻的灯也要相应地改变其状态。我们用数字 1 表示一盏开着的灯，用数字 0表示关着的灯。
2024-02-11 18:47:04
743
1
原创 小Tips：曼哈顿距离
曼哈顿距离也叫出租车距离。试想你是一个大学生，你想坐出租车到某一个地方去玩，司机对你去的地方还不熟悉，然后你很自信地跟司机说从这点坐标到目的地直线距离为123.5km,司机：“你2B吧”，对于司机而言你应该告诉他应该向东或向西走多远，什么时候拐弯，然后再走多远。曼哈顿距离也是这样子，即两点在南北方向上的距离加上在东西方向上的距离：如图红线代表曼哈顿距离，绿线代表几何距离。
2024-02-04 10:36:10
838
1
原创 MySQL学习笔记-02-条件查询
select（字段1，字段2,字段3......）from（表名）where条件1 and/or 条件2.......；select（字段1，字段2,字段3......）from（表名）where条件1 （列名(其中%表示多个字符，_表示一个字符)；例：注意若想表示,应该加入转义符号。
2023-11-02 20:26:34
148
1
原创 质数筛的Blog
最近忘了质数筛原理了写个blog复习一下iii是质数就筛掉iii与primesprimesprimes数组中所有质数的乘积；i是非质数就筛掉iii与primesprimesprimes中所有<=最小质因子的乘积，并且若if (i % primes[j] == 0)break;primes是存质数的数组那我们依照这个规则再列一遍：24iii标记primes2423696,9692,34被标记但不跳过888。
2023-09-24 22:41:08
210
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人