- 博客(21)
- 收藏
- 关注
RSS订阅原创 Transformer架构：结构介绍
Transformer模型发展与应用 Transformer模型自2017年提出以来，经历了从基础架构到大规模预训练模型的演进过程： 技术突破 2017年提出自注意力机制，实现序列并行处理 2018年BERT和GPT分别展示了双向和单向预训练的优势 2020年后发展为GPT-3等大语言模型（LLM） 核心架构 基于编码器-解码器结构 关键组件： • 词嵌入与位置编码（解决序列位置问题） • 多头自注意力（并行捕捉多维度语义关联） • 前馈网络（增强非线性表达能力） 数学原理 位置编码采用正弦函数捕捉相对位置
2025-07-10 20:37:35
712
原创 XGBoosting算法详解（Boosting思想的代表算法）
XGBoost是一种基于Boosting思想的集成学习算法，通过串行训练多个决策树，逐步优化模型预测效果。其核心特点包括：1）使用泰勒二阶展开优化目标函数；2）加入正则化项控制模型复杂度；3）采用加权投票整合预测结果。数学原理上，XGBoost通过定义包含损失项和正则化项的目标函数，计算叶子节点最优权重，并通过分裂增益判断树结构优劣。实际应用中，如预测电子游戏喜好，XGBoost会先初始化模型，计算梯度，然后构建决策树并迭代优化，最终得到更准确的预测结果。相比传统GBDT，XGBoost在效率和稳定性上都有
2025-07-10 10:51:49
816
原创 利用英译法案例演示RNN中的注意力机制（基于PyTorch）
本文通过一个英法翻译案例，详细解析了基于RNN的Encoder-Decoder架构中注意力机制的实现原理。文章首先介绍了数据处理流程，包括文本规范化、词表构建和数据加载模块；然后阐述了模型架构设计，采用LSTM编码器与带注意力机制的解码器；最后展示了注意力机制如何动态聚焦输入序列的关键部分。通过PyTorch实现，案例直观演示了注意力权重在翻译过程中的动态变化，揭示了注意力机制提升长句子翻译质量的核心机制。相关技术文章链接为读者提供了RNN、Encoder-Decoder框架及注意力机制的延伸阅读资源。
2025-07-07 23:17:55
1336
原创 随机森林算法详解：Bagging思想的代表算法
随机森林是一种基于Bagging思想的集成学习算法，通过构建多棵决策树并采用双重随机化（样本和特征抽样）提升模型性能。其核心优势包括抗噪声能力强、处理高维数据高效、可解释性好以及支持并行计算。算法流程包括：1）随机抽样生成多个训练子集；2）每棵树仅使用部分特征进行分裂；3）通过投票机制集成预测结果。示例展示了3棵决策树的构建过程及对新样本的预测流程。sklearn实现中，关键参数包括树的数量（n_estimators）、分裂标准（criterion）和特征选择数量（max_features）。随机森林还支持
2025-07-06 23:57:47
959
原创 RNN中的注意力机制代码实现
本文介绍了基于RNN的注意力机制在机器翻译中的应用。该机制通过编码器将源语言转换为隐状态序列，解码器生成目标语言时动态关注源语言的关键信息。核心实现包括：1）编码器-解码器框架；2）注意力计算（Q、K拼接后线性变换及Softmax归一化）；3）上下文向量生成与信息融合。代码示例展示了注意力权重如何量化源语言词的重要性（如预测"to"时对"欢迎"关注度最高），并通过上下文向量整合关键语义。该机制有效提升翻译准确率，典型应用如将"欢迎来北京"译为&qu
2025-07-05 23:05:14
685
原创 人工智能概念：RNN中的注意力机制详解
注意力机制综述：从认知模拟到深度学习 本文系统介绍了注意力机制的原理与应用。注意力机制模拟人类认知过程，通过权重分配聚焦关键信息，实现语义融合。文章详细剖析了注意力机制的本质、分类和实现方法：1）软注意采用连续权重全局关注；2）硬注意通过离散权重局部聚焦；3）自注意挖掘序列内部关系。以机器翻译为例，展示了带注意力机制的Encoder-Decoder模型处理流程，包括编码器状态计算和解码器注意力权重分配。文章还对比了拼接、点积等多种相似度计算方法，并分析了Transformer采用的点积缩放型注意力的优势。不
2025-07-05 14:00:33
1127
原创 人工智能概念：RNN中的基础Encoder-Decoder框架
Seq2Seq模型与注意力机制：自然语言处理的关键突破 Seq2Seq模型通过Encoder-Decoder架构实现跨序列转换，但传统方法存在两大核心缺陷：1）固定维度语义向量C导致信息瓶颈，长序列信息丢失严重；2）单一C无法区分不同解码阶段的语义焦点，造成翻译错误。注意力机制的创新在于动态生成上下文向量ct，通过权重分配聚焦关键输入。例如翻译"欢迎来北京"时，生成"Beijing"阶段会赋予"北京"最高权重（如0.8），而非均分注意力。这种机制更
2025-07-04 15:31:17
801
原创 利用人名语言分类案例演示RNN、LSTM和GRU的区别（基于PyTorch）
本文介绍了基于PyTorch构建RNN、LSTM和GRU模型进行人名分类的方法。程序结构包含数据预处理、模型定义、训练测试、结果对比和预测模块。数据预处理阶段将人名转换为one-hot编码张量，并定义了18种语言分类任务。模型采用三种循环神经网络结构处理序列数据。实验结果表明，该方法能有效根据人名特征预测其语言背景，为自然语言处理中的序列分类任务提供了实用解决方案。代码实现上突出了模块化设计，便于模型对比和扩展应用。
2025-07-03 23:44:40
754
原创 人工智能概念之七：集成学习思想（Bagging、Boosting、Stacking）
集成学习通过组合多个弱学习器提升模型性能，主要分为三类方法： Bagging（并行集成） 如随机森林，通过有放回抽样生成多个训练集 独立训练模型后平权投票 示例：贷款分类问题中，3棵决策树投票预测结果 Boosting（串行集成） 如AdaBoost，迭代训练并调整样本权重 错误样本权重增加，优秀模型获得更高投票权 示例：两轮迭代后加权投票预测贷款审批 Stacking（层级集成） 第一层基模型生成预测概率作为新特征 第二层元模型学习最优组合策略 示例：将模型A和B的输出作为新输入训练元模型 核心优势：通过
2025-07-03 15:48:24
957
原创 决策树（Decision tree）算法详解（ID3、C4.5、CART）
决策树是一种树形结构的监督学习算法，通过特征条件判断实现分类。其构建包括特征选择、树生成和剪枝优化三个步骤。ID3决策树以信息增益为特征选择标准，信息增益计算公式为g(D,A)=H(D)-H(D|A)，表示特征A对数据集分类不确定性的减少程度。文章以社交活动决策和贷款申请分类为例，详细演示了决策树构建过程，包括经验熵、条件熵的计算和Python可视化实现。案例表明，"有房子"特征在贷款决策中信息增益最大，应优先作为分裂节点。决策树结构直观易解释，适用于分类问题。
2025-07-02 15:55:04
1080
原创 RNN（Recurrent Neural Network，循环神经网络）家族详解（RNN，LSTM，GRU）
摘要： 本文系统解析了循环神经网络（RNN）及其改进模型LSTM的核心机制与应用。传统RNN通过循环记忆结构处理序列数据，但存在梯度消失问题。LSTM引入遗忘门、输入门、输出门和细胞状态四大机制，有效解决了长期依赖问题。文章详细对比了RNN与LSTM的数学表达、PyTorch实现及计算示例，并通过人名特征提取案例演示了RNN的时序计算过程。RNN适用于语音识别、文本分类等场景，而LSTM在长序列任务中表现更优。两种模型的结构差异和适用条件为序列建模提供了重要技术选择依据。（149字）
2025-07-01 21:58:35
899
原创 人工智能概念之六：分类任务的评估指标（用逻辑回归演示回归效果评估）
本文系统讲解了分类任务的核心评估指标及其应用场景。首先介绍了混淆矩阵的四个关键指标（TP、FP、FN、TN），通过电信客户流失案例展示了如何全面评估模型预测效果。其次详细解析了精确率、召回率和F1-score的计算公式及适用场景，特别强调不同业务需求（如医疗诊断vs广告投放）对指标的侧重差异。最后深入讲解了ROC曲线和AUC值的原理与优势，包括抗类别不平衡、阈值无关等特性，并通过实例演示了AUC计算过程。文章通过理论结合实践的方式，帮助读者掌握科学评估分类模型的方法。
2025-06-30 21:26:56
936
原创 逻辑回归（Logistic Regression）算法详解
本文系统阐述逻辑回归从理论到实战的完整体系。理论上，通过伯努利分布与对数几率变换推导出Sigmoid函数，构建线性组合到概率的映射，以交叉熵损失为优化目标。实战中，利用sklearn实现电信客户流失预测，经独热编码、Min-Max归一化等预处理，特征重要性分析表明总费用、月付合同等是流失主因，为业务留存策略提供数据支撑，体现模型在二分类问题中的工程价值与可解释性优势。
2025-06-30 10:16:26
869
原创 人工智能概念之五：梯度下降和正规方程求解的区别
本文对比了三种线性回归参数求解方法：直接求导法、正规方程法和梯度下降法。通过两个样本点（x=[1,2], y=[3,5]）的示例，展示了不同方法的求解过程： 直接求导法通过建立并求解方程组，得到参数w=2、b=1； 正规方程法通过矩阵运算（X^T X逆矩阵）获得相同结果； 梯度下降法通过迭代更新参数（学习率0.3）逐步逼近最优解。 分析表明，正规方程是直接求导法的矩阵形式推广，两者本质相同。梯度下降则适用于大规模数据，通过迭代优化求解。三种方法最终都得到与真实模型y=2x+1一致的参数。
2025-06-28 21:30:00
701
原创 人工智能概念之四：常见的正则化手段（用线性回归演示过拟合和正则化、L1正则化、L2正则化、Dropout、批量归一化、早停法、数据增强）
在机器学习中，模型不仅需要在训练数据上表现良好，更重要的是在未知的测试数据上具备泛化能力。然而，当模型复杂度过高时，容易出现过拟合现象——模型过度拟合训练数据中的噪声和细节，导致在新数据上的预测能力下降。正则化（Regularization）是一类通过限制模型复杂度、缓解过拟合现象的技术手段。从广义上讲，任何能够降低模型在训练数据上的过拟合程度、提升泛化能力的方法，都可以被称作正则化。其核心逻辑是通过不同机制约束模型的“表达能力”，避免模型学习到训练数据中的噪声或特定细节，从而迫使模型捕捉更具普适性的模式。
2025-06-28 13:43:51
1151
原创 线性回归（Linear regression）算法详解
线性回归是一种通过回归方程建模自变量与因变量线性关系的分析方法。一元线性回归表达式为y=kx+b，多元线性回归为y=w₁x₁+w₂x₂+...+wₙxₙ+b。通过最小化均方误差(MSE)可以找到最佳参数。以房屋面积预测价格为例，当k=2、b=0时，回归曲线完全拟合样本数据(MSE=0)。测试新数据(75,145)时，预测值150与真实值145的误差(MSE=25)揭示了模型的泛化能力。该示例展示了线性回归的基本原理和训练-测试流程，为机器学习模型优化奠定了基础。
2025-06-27 20:52:12
1198
原创 人工智能概念之三：常见的损失函数（交叉熵损失、Hinge损失、0-1损失、MSE、MAE、RMSE、最小二乘法、焦点损失、Dice损失、三元组损失）
损失函数是机器学习模型优化的核心工具，通过计算预测值与真实值的差异为参数更新提供方向。分类任务中，交叉熵损失基于信息论原理，量化概率分布差异，其梯度特性直接影响优化效率。二分类交叉熵损失公式为$L = -[y \log\hat{p} + (1-y)\log(1-\hat{p})]$，多分类则扩展为Softmax交叉熵。损失函数图像显示：当预测错误时损失陡增，正确时平缓下降；其导数$\partial L/\partial\hat{p} = \hat{p}-y$直接反映误差大小，与梯度下降配合实现高效参数更新。
2025-06-27 19:21:29
1139
原创 人工智能概念之二：人工智能核心概念（三大核心概念、发展三要素、样本、特征、标签、过拟合、欠拟合、泛化、导数、矩阵、正规方程、梯度下降）
AI 目标是让机器具人类智能，ML 是实现路径（从数据学规律），DL 是 ML 分支（用多层网络处理高维数据），三者呈 AI>ML>DL 层级。发展依赖数据（决定上限）、算法（提取规律）、算力（GPU/TPU 加速）。数据由样本、特征（预测依据）、标签（目标）构成，需划训练 / 测试集防过拟合。特征工程含提取、归一化 / 标准化预处理、降维及交叉 / 多项式组合。模型需平衡复杂度防过拟合 / 欠拟合，通过导数驱动梯度下降或正规方程优化参数。
2025-06-26 22:30:00
805
原创 KNN的搜索算法，如何高效找到 K 个最近邻？（暴力搜索、KD 树、球树、近似最近邻算法）
每次切蛋糕时，先选一个方向（比如横切或竖切），这个方向对应数据的某个特征维度，通常选数据分布最广的维度，比如选蛋糕上水果分布最散的方向切，这样能把样本尽量均匀分开。先找到一群样本的中心（质心），再确定一个合适的半径，让尽量多的样本被这个气球（超球面）装进去。如果新数据离某一块蛋糕很远，比当前找到的第 K 近的距离还远，就不用去翻这块蛋糕了，直接跳过，大大减少了搜索范围。通过计算测试点到超球面的距离（即到质心距离与球半径的差），快速判断是否需要进入子树搜索，对高维数据适应性优于 KD 树。
2025-06-26 11:26:00
1299
原创 KNN （K-Nearest Neighbors，K 最近邻算法）算法详解
KNN算法是一种基于实例的监督学习方法，核心思想是"物以类聚"。该算法通过计算测试样本与训练样本的距离，选取最近的K个邻居进行预测：分类任务采用多数投票法，回归任务使用均值预测法。本文详细介绍了KNN的数学原理和实现步骤，包括距离计算方法（欧氏、曼哈顿距离）、分类和回归的具体示例，以及sklearn中的API使用方式。最后通过鸢尾花数据集的分类案例展示了完整的应用流程，包括数据准备、模型训练、预测和评估。KNN算法简单有效，通过合理的参数调优和特征处理可获得更好的性能。
2025-06-25 21:23:39
729
原创 人工智能概念之一：机器学习基础概念（距离计算方法、归一化和标准化、交叉验证和网格搜索）
本文介绍了机器学习中的关键技术：1）距离计算方法（欧式、曼哈顿、切比雪夫距离），用于衡量样本相似性；2）数据预处理方法（归一化和标准化），分别用于调整数据范围和正态分布；3）交叉验证与网格搜索的结合应用，用于优化模型参数和提高泛化能力。文中还提供了相关Python代码示例，展示如何实现这些技术在实际项目中的应用。这些方法共同构成了机器学习模型开发的重要基础环节。
2025-06-25 20:01:47
898
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人