- 博客(48)
- 收藏
- 关注
RSS订阅原创 机器学习48：ID3决策树与C4.5决策树
一．决策树简介决策树中每一个内部节点表示一个特征上的判断，每一个分支代表一个判断结果的输出，每一个叶子节点代表一种分类结果。对于决策树的建立过程：1.特征选择：选取有较强分类能力的特征。2.决策树的生成:根据选择的特征生成决策树。3.决策树也易过拟合，通过采用剪枝的方法缓解过拟合。所以决策树本质上是一个基于“如果-那么”规则的可解释流程图，通过基尼系数或信息增益等纯度指标递归地选择最优特征对数据进行分裂，天然具备无需数据标准化和捕捉非线性关系的优势；
2026-06-28 20:45:00
264
原创 机器学习47：逻辑回归--进阶篇
本文深入介绍了二分类模型的评估方法与逻辑回归的进阶应用。文章首先讲解了混淆矩阵、精确率、召回率、F1-score等评估指标，并通过代码示例对比了不同模型的性能差异。随后阐述了ROC曲线与AUC指标的原理及其在类别不平衡场景下的优势。最后通过电信客户流失案例，展示了从数据预处理（独热编码）、可视化分析到模型训练与评估的完整流程。
2026-06-21 20:30:00
204
原创 机器学习46：逻辑回归--基础篇
本文介绍了逻辑回归的基本原理与应用。逻辑回归通过在线性回归基础上引入Sigmoid函数，将输出映射为概率值，用于解决二分类问题。文章阐述了其假设函数与损失函数，并通过乳腺癌预测案例展示了完整的建模流程。
2026-06-14 20:45:00
317
原创 机器学习45：线性回归进阶篇③
针对过拟合问题，详细介绍了L1正则化（产生稀疏解，实现特征选择）与L2正则化（权重趋近于小值，使模型平滑）的原理与效果，并通过代码示例验证了正则化参数α对模型的影响。本文介绍了线性回归的两种API实现（正规方程法与随机梯度下降法），并通过波士顿房价预测案例展示了完整的建模流程，包括数据加载、特征标准化、模型训练与评估（MSE、RMSE、MAE）。它的核心特点是会导致部分权重参数变为零，从而实现特征选择，使模型变得稀疏——即自动忽略那些不重要的特征，适合用于高维数据或需要降低模型复杂度的场景。
2026-06-07 18:08:08
264
原创 机器学习44：线性回归进阶篇②
本文进一步深入介绍了梯度下降法的多变量情形。文章以二元函数为例演示了多变量梯度下降的迭代过程，讨论了学习率对收敛的影响。通过银行信贷案例，完整推导了从假设函数、损失函数到梯度计算与参数更新的全过程。文章对梯度下降法进行了分类，对比了全梯度下降、随机梯度下降、小批量梯度下降、随机平均梯度下降及Adam等方法的原理与优缺点。此外，对比了梯度下降与正规方程法的适用场景，并介绍了回归模型的三种评估指标：MAE、MSE与RMSE。
2026-05-31 20:45:00
966
原创 机器学习43：线性回归进阶篇①
文中从一元线性回归的偏导推导到多元线性回归的矩阵表达，再到梯度下降的直观示例，层层递进地揭示了两种方法的数学本质与应用场景。随后，文章详细阐述了梯度下降法的基本原理与迭代公式，以单变量函数为例演示了参数更新过程，并讨论了学习率的选择与停止策略。对于何时停止进行梯度下降运算，我们可以设置计算次数的上限（也就是向下走的步数），或者给最后的结果设一个阈值，如果最后的结果达到了阈值就结束运算。为了求得损失函数的最小值，则就要先求得损失函数最小值时，对应的k与b的取值，所以这里就对损失函数分别对于k和b求偏导。
2026-05-24 20:45:00
468
原创 机器学习42：线性回归基础篇
这个简单模型可以用于健康评估、服装尺码推荐等场景，不过需要注意，如果数据呈现出非线性特征（如儿童期与成年期生长规律不同），线性回归的效果就会受限，需要考虑更复杂的模型。算法计算出最优的w和b。从图中可以看出，红色的线更好地拟合了所有的点，也就是误差最小，误差之和最小。这时，只要求得一对w与b的值，使得损失函数最小，便可以得到最终的结果，从而根据已知的身高预测其对应的大致体重。上面说明的是一元线性回归，而多元线性回归与一元线性回归原理差不多，只是多元参考的因素变多了，其线性回归的模型找到的回归线为。
2026-05-17 20:45:00
580
1
原创 机器学习41：利用KNN算法实现手写数字识别
在训练模型是也是先加载手写数字数据集，然后对数据进行预处理（归一化），然后参照y中各个数据的分布同等比例分割数据集，避免分割数据集后数据分布失衡（如分割后训练集中可能全是0、1、3、7），接着就是模型训练与模型评估，最后我们将模型经行保存。在实现手写数字识别时，先看看数据中的灰度图像。查看所有标签的分布情况：Counter({1: 4684, 7: 4401, 3: 4351, 9: 4188, 2: 4177, 6: 4137, 0: 4132, 4: 4072, 8: 4063, 5: 3795})
2026-05-10 20:45:00
546
原创 机器学习40：超参数选择方法
其中estimator是估计器对象，param_dict是估计器参数，cv是几折交叉验证，在结果中bestscore_是指在交叉验证中验证的最好的结果，bestestimator是指最好的参数模型，cvresult是指每次交叉验证后的验证集准确率结果和训练集准确结果。通过这四次训练集+验证集的评估，得到的四次结果取平均值作为模型的得分。通过前面我们知道了交叉验证解决模型的数据输入问题（数据集划分）得到更可靠的模型，网格搜索解决超参数的组合，两者组合在一起就形成了一个模型参数调优的解决方案。
2026-05-03 19:00:00
450
原创 机器学习39：通过KNN算法对鸢尾花分类
接着对这个字典形态数据中的所有的键进行输出便得到dict_keys(['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename', 'data_module'])的结果。其中特征名为第一行。我们这里的鸢尾花是分为变色鸢尾、维吉尼亚鸢尾和山鸢尾三种，对于这三种的区分是通过对鸢尾花花萼与花瓣的长和宽进行测量，在对应的范围区间就对应品种的花。有了这些键，就查看对应键的数据（对于有150条的数据，这里只看前五个）。
2026-04-19 17:49:01
558
原创 机器学习38：距离度量与特征处理
本文介绍了机器学习中常用的四种距离度量方法：欧氏距离、曼哈顿距离、切比雪夫距离以及闵可夫斯基距离，并解释了它们之间的数学关系与适用场景。此外，文章详细阐述了特征处理中的两种无量纲化技术——归一化与标准化，分析了各自的原理、计算公式、优缺点及适用条件，并通过代码展示了基于scikit-learn的具体实现。这些预处理方法对提升模型性能与稳定性具有重要意义。
2026-04-12 20:45:00
432
原创 机器学习37：K邻近算法（K Nearest Neighbor，KNN）
就如利用K近邻算法预测电影类型，如下表，其中1到9的电影名称以及三个不同类别的镜头为x_train,对应的电影类型为y_train,而第10个的电影名称以及三个不同类别的镜头为x_test，我们要预测的就是其对对应的电影类别y_test。若k值过小，也就是用较小领域中的训练实例进行预测，这时就容易受到异常点的影响，k值的减小就意味着整个模型变得复杂，容易发生过拟合。若k值过大，也就是用较大领域中的训练实例进行预测，这时就容易样本均衡的问题，k值的增大就意味着整个模型变得简单，容易发生欠拟合。
2026-04-04 11:03:27
465
原创 机器学习36：机器学习概述
这包括处理缺失值（如填充、插值或删除缺失严重的记录）、识别并处理异常值（基于统计方法或业务规则），以及对数据进行划分，将数据集按比例拆分为训练集、验证集和测试集，保证模型评估的客观性。其中将前面部分的特征就称之为x_train，下面的部分就是用来测试的称之为x_test，训练集特征得到的标签就是y_train，最终希望得到的就是y_test。其实中训练数据我们可以看作是x_train，模型就是在找规律找公式，测试数据看作是x_test，在训练时预测结果就是y_train，测试时就是y_test。
2026-03-29 15:31:28
485
原创 机器学习35：元学习的应用
本文介绍了元学习在多个方面的具体应用。首先，通过MAML等方法学习最优的初始化参数，使模型能够快速适应新任务。其次，元学习可用于学习优化器，自动调整更新策略。此外，网络架构搜索（NAS）利用元学习自动设计网络结构。最后，文章还提及了元学习在数据处理、样本重加权等领域的延伸应用，展现了元学习在自动化机器学习中的广泛潜力。
2026-03-22 16:47:38
452
原创 机器学习34：元学习（Meta Learning）
本文介绍了元学习的基本概念与核心思想。元学习旨在让模型学会如何学习，通过在多任务上训练获得快速适应新任务的能力。文章阐述了元学习的三个步骤：定义待学习的算法组件、定义基于任务集的损失函数、优化得到最优学习算法。最后对比了机器学习与元学习在目标、训练资料、损失函数等方面的差异，并指出两者在过拟合等问题上的相似性。元学习为自动发现高效学习算法提供了重要途径。
2026-03-15 17:03:31
503
原创 机器学习33：机器终身学习（Life Long Learning，LLL）②
本次进一步探讨了机器终身学习中的核心问题——灾难性遗忘的产生原因，并从参数空间的角度解释了遗忘发生的机理。针对这一问题，文章系统介绍了三类主流解决方法：选择性突触可塑性通过约束重要参数的变化来保护旧知识；额外神经资源分配通过动态扩展网络结构来学习新任务；记忆回放则利用生成模型重放过往数据以巩固记忆。这些方法为构建可持续学习的智能系统提供了不同思路。
2026-03-08 20:45:00
788
原创 机器学习32：机器终身学习（Life Long Learning）①
一．机器上的终身学习对于终身学习，通过浏览器搜索最有可能得到的答案不是与机器学习有关的内容，而是关于人类的活到老学到老。虽然大家关注的主题多是偏行人类如何活到老学到老，但是机器其实也是需要做终身学习。机器对于终身学习这件事也是非常接近与人类对于AI的想象。就如先教机器第一个任务学会做语音识别接着教其第二个任务做影像识别，然后第三个任务翻译等等不断教会其新的技能，等其学会上百上千万技能后就可能像终结者中的天网一样。
2026-02-08 17:38:32
906
原创 机器学习31:神经网络压缩（Network Compression）——网络压缩技术②
所以对于一般的卷积，要有k×k的核大小，以及输入通道和输出通道参数分别为I和O，则首先一共过滤器的参数就为k×k×I,所以一共参数为(k×k×I)×O。这个方法要做的事情与前几个方法不一样，前几个方法要做的事情都是单纯的把network变小，而在动态计算中要做的就是希望network能够自由的调整它所需的运算量。因为有时同样的模型会运行在不同的设备上，不同的设备上的运算资源是不太一样的或在同时设备上不同情况下所需的资源也是不一样的。对于常出现的参数就用较短的编码表示，对于少用的就用较长的编码表示。
2026-02-01 20:45:00
1067
原创 机器学习30:神经网络压缩（Network Compression）①
这个彩票假说在实验上被证实的方式与网络的剪枝非常相关。如下：现在有一个大的网络，在这个网络中一开始的参数是随机初始化的，之后便可以得到一组训练完的参数（用紫色表示），接着用网络剪枝的技术将一些紫色的参数丢掉得到比较小的网络。一个普遍的答案是大的网络好训练，如果直接训练一个小的网络往往得不到跟大的网络一样的正确率。知识蒸馏与网络剪枝是有类似之处，知识蒸馏是先训练一个大的模型被称为教师网络模型，通过这个模型来得到小的模型也就是学生网络模型，其与网络剪枝不一样的是其小的网络是更具大的教师网络模型进行学习的。
2026-01-25 20:24:19
898
原创 机器学习29：增强式学习（Deep Reinforcement Learning）④
本次学习了深度强化学习中应对稀疏奖励与无明确奖励信号的核心方法。首先详细了解了奖励塑造的基本概念，分析了在稀疏奖励环境下通过引入基于领域知识的额外奖励以引导智能体学习的机制，并特别探讨了基于好奇心的奖励塑造方法。进一步，深入讨论了在完全缺乏奖励信号的情况下如何通过模仿学习与逆强化学习进行策略学习，重点剖析了逆强化学习通过专家示范反推奖励函数、并迭代优化智能体策略的工作原理，同时揭示了其与生成对抗网络在框架上的深刻相似性，为理解和应用复杂环境下的强化学习提供了关键思路。
2026-01-18 19:15:42
753
原创 机器学习28：增强式学习（Deep Reinforcement Learn）③
本周的学习重点是增强式学习（Reinforcement Learning, RL）中的Actor-Critic方法。主要深入讲解Actor-Critic框架的核心原理、优势函数的计算、Critic的价值估计方式，以及如何结合Actor和Critic来提升策略学习的稳定性和效率。
2026-01-04 21:00:00
847
原创 机器学习27：增强式学习（Deep Reinforcement Learn）②
本次学习聚焦于RL的基本机制、与监督学习的区别、动作评估方法的演进，以及策略梯度（Policy Gradient）算法的核心原理。通过逐步引入不同版本的训练方法，澄清常见误区，并结合游戏示例和算法演示，系统讲解了如何让代理（Actor）通过与环境互动学习最优策略。
2025-12-28 20:53:57
874
1
原创 机器学习26：增强式学习（Deep Reinforcement Learn）①
对于增强式学习的Loss函数，我们再重新看下在“太空侵略者”例子中的机器与环境交互的过程，如下，现在有一个初始的游戏画面s1作为参与者的输入，其就输出一个右移的动作a1，便得到一个奖励r1，采取向右移动后变得到新的游戏画面s2，从而actor就会采取新的开火行动a2，若开火杀死一个外星人则得到奖励为5的r2，若此反复下去直到游戏结束。从游戏开始到结束的过程就称之为一个回合（Episode）。
2025-12-21 18:38:16
928
原创 机器学习25：了解领域自适应（Domain Adaptation）
一．领域自适应的必要性到目前为止学习了解到许多机器学习的模型，所以训练分类器完全不是一个问题。若要训练一个数字分类器，只要有训练资料就可以训练好一个模型然后应用在测试资料上就结束了。所以像数字辨识这么简单的问题，在基准语料库（Benchmark Corpus）上实现正确率就可以达到99.5%，但是假设现在测试资料与训练资料的分布不一样这时得到的正确率就会非常低，只有57.5%。而这种训练资料与测试资料分布不一样的情况就称为领域偏移。
2025-12-14 16:30:38
1091
原创 机器学习24：对抗攻击（Adversarial Attack）（下）
本周课程深入探讨了对抗攻击（Adversarial Attack）的进阶内容，系统介绍了白盒攻击与黑盒攻击的区别与实现方式，分析了黑盒攻击中代理模型与集成攻击的有效性。课程进一步扩展了攻击的多样性，包括单像素攻击、通用对抗攻击以及在语音、自然语言处理与真实物理世界中的应用实例。此外，还介绍了对抗性重编程与后门攻击等特殊攻击形式。在防御方面，课程详细讲解了被动防御（如输入预处理与随机化滤波）与主动防御（如对抗训练）的原理与局限性，全面揭示了对抗攻击与防御在现实部署中的挑战与应对策略。
2025-11-30 17:47:15
781
原创 机器学习23：对抗攻击（adversarial attack）（上）
本周课程介绍了对抗攻击（adversarial attack）的基本概念与必要性。对抗攻击旨在测试模型在恶意输入下的鲁棒性，确保其在真实应用中能够抵御人为欺骗，例如在垃圾邮件分类、恶意软件检测等任务中。本文详细讲解了攻击的类型，包括无目标攻击（Non-targeted）和有目标攻击（Targeted），以及攻击的实现方法，如定义损失函数、使用距离度量（如L2范数和L-无穷范数）和优化技术（如梯度下降和快速梯度符号法）。最后，探讨了攻击途径及其在实际应用中的重要性，强调了模型安全性的关键作用。
2025-11-23 17:25:28
1283
1
原创 机器学习22：可解释机器学习（Explainable Machine Learning）（下）
为了找出这样的图片，先假设滤波器A输出的特征图中每一个元素为aij，接着就是找一张图输入到卷积层经过滤波器A得到的特征图中所有的aij和值越大越好，找出的这张图片称为X*。当输入一张图片X，每一个卷积层就会输出一个特征图，其中如果滤波器A得到的特征图中许多位置都有比较大的值，这就意味着图片X中有很多滤波器A侦测的特征。但是现在要做的是全局解释，也就是还没有图片X，这时若要知道滤波器A想要知道的特征如何，我们就可以去生成一个非数据库中的图片，机器生成的这张图片包含有滤波器A能够侦测的特征。
2025-11-16 20:30:00
722
原创 机器学习21：可解释机器学习（Explainable Machine Learning）（上）
本周以可解释机器学习为核心议题，系统阐述其在现代人工智能应用中的关键作用。内容重点解析可解释性的重要性——如避免“聪明的汉斯”式表面智能、满足法律合规与公平性要求，并深入探讨模型可解释性与性能强大性之间的权衡关系（如线性模型可解释性强但限制大、深度模型性能优但解释性差）。进一步，将可解释机器学习分类为局部解释与全局解释，并分别介绍其方法与案例，包括显著图、平滑梯度、可视化与探针等技术，揭示模型决策依据，为模型修正与优化提供依据。
2025-11-09 17:18:26
1021
原创 机器学习20：自编码器（Auto-Encoder）与扩散模型综述学习
课程进一步深入综述了扩散模型的理论基础、主流改进方向及其与VAE、GAN等生成模型的广泛联系，全面梳理了扩散模型在计算机视觉、多模态生成及科学计算等领域的革命性应用，最后剖析了其在理论理解、潜空间语义性、基本假设与计算成本等方面面临的关键挑战，为理解生成式AI的前沿发展提供了系统性的知识框架。能够做到这件事对于影像来说，并不是所有的3×3的矩阵都是图片，而图片的变化是有限的，对应的情况总共也就那么些种类，从而就可以通过两个维度的向量来代表。扩散模型的生成能力像是学习经验、发现经验，而非严格数学推导的结果。
2025-11-02 20:45:00
1145
原创 机器学习19：自监督式学习在语音和影像上的运用
本讲系统介绍了自监督式学习在语音和影像领域的应用方法与技术进展。首先回顾了文本自监督学习的基本框架，进而重点讲解了语音与影像数据上的自监督预训练策略，包括生成式方法（如语音BERT、GPT）、预测式方法（如图像旋转预测、上下文预测）以及对比学习（如CPC、Wav2vec系列）等关键技术。此外，课程还介绍了无需负样本的Bootstrapping方法与引入正则化的VICReg等先进学习范式，全面展示了自监督学习在多模态数据上的强大适应性与泛化能力。
2025-10-26 20:30:00
803
原创 机器学习18：扩散模型（Diffusion Model）与Stable Diffusion
一.概念理解1.扩散模型（Diffusion Model）扩散模型这是当前人工智能领域，尤其是生成式AI中最为火热和强大的技术之一。它彻底改变了图像、音频、视频生成领域的技术格局，是DALL·E、Midjourney、Stable Diffusion等著名生成工具的核心基石。而其核心思想就是前向过程：遵循确定公式，像图像中添加噪声。反向过程：从噪声中“提炼”图像。就如上图，先从高斯噪声中随机抽取一个向量（向量维度与要生成的图片大小相同），得到一个纯噪声的图。
2025-10-19 16:45:19
1037
原创 机器学习17：如何有效使用自监督式学习
本周课程系统回顾了预训练语言模型（PLMs）的基本原理及其在自然语言处理任务中的应用，重点分析了当前PLMs面临的两大核心挑战：下游任务中标注数据的匮乏以及模型规模过大带来的计算与存储负担。课程详细介绍了一系列针对这些问题的优化方法，包括提示微调（Prompt Tuning）、少样本/零样本学习、半监督学习、参数高效性微调（如适配器、LoRA、前缀微调、软提示）以及提前退出机制等。
2025-10-12 19:08:18
863
原创 机器学习16：自监督式学习（Self-Supervised Learning）②
本周重点学习了自监督式学习中的两大代表性模型——BERT 与 GPT。BERT 通过“填空”和句子连贯性判断任务，学习上下文感知的词嵌入表示，能够有效处理一词多义问题，并在跨语言任务中表现出色。其嵌入向量能捕捉词汇语义和上下文信息，甚至可迁移至非文本任务（如 DNA 分类）。GPT 则采用自回归方式预测下一个 token，具备文本生成能力，并支持少样本、单样本和零样本学习，展现出强大的泛化能力。两者均为自监督学习的典型应用，推动了自然语言处理的发展。
2025-10-05 20:30:00
612
原创 机器学习15：自监督式学习(Self-Supervised Learning)①
一．了解自监督式学习本周开始学习自监督式学习，在了解之前我们不得不说到一个节目叫做《芝麻街》，因为其中一些人物的名字就对应一些模型的名称缩写，如下图分别代表了：通过知识集成增强表征（ERNIE）、来自语言模型的词嵌入（ELMo）、适用于更长序列的 Transformer 模型（Big Bird）、基于 Transformer 的双向编码器表征（BERT）。
2025-09-28 17:53:34
1249
原创 机器学习14：各种各样的自注意机制
一．自注意机制的回顾与问题通过之前的学习也基本了解了自注意机制，但是对于自注意机制其还是有各种各样的变形的。所以在学习自注意机制的各样变形前，先来简单回顾下自注意机制的原理以及其难点所在。首先自注意机制的存在是为了处理当模型的输入是一个序列。这个序列可以是各种不同的资料形态如一个以每个token或每一个单词为单位的句子又或者是一张以每一个像素作为一个单位的图片。
2025-09-21 18:23:39
630
原创 机器学习13：了解Transformer模型②
本周课程深入探讨了Transformer模型中的解码器（Decoder）结构及其生成策略。课程重点介绍了自回归（Autoregressive）与非自回归（Non-Autoregressive）两种生成方式的基本原理与区别，并详细分析了编码器与解码器之间通过交叉注意力（Cross Attention）进行信息传递的机制。
2025-09-14 20:45:00
930
原创 机器学习12：了解Transformer模型①
本周课程重点介绍了序列到序列（Seq2seq）模型的基本概念及其在多领域的应用，包括语音识别、语音合成、聊天机器人、自然语言处理任务（如情感分析与问答系统），以及非传统Seq2seq任务（如语法解析、多标签分类与目标检测）的适应性处理。进一步地，课程深入讲解了Transformer模型的核心架构，特别是其Encoder部分的设计，涵盖自注意力机制、残差连接与层归一化等关键技术，为后续理解Transformer的完整机制奠定基础。
2025-09-07 20:30:00
1139
原创 机器学习11：类神经网络训练之批量标准化(Batch Normalization)
本周课程介绍了批量标准化（Batch Normalization）的基本原理及其在深度神经网络训练中的作用。批量标准化通过对每一层的输入进行归一化处理，使数据分布更加稳定，从而加速模型训练并提高收敛效率。本文详细讲解了特征归一化的动机、批量归一化的实现方法（包括训练与测试阶段的差异）、以及其在深度网络中的实际效果。最后，通过对比实验数据，展示了批量标准化在训练速度与稳定性方面的显著优势。
2025-08-31 20:30:00
985
原创 机器学习10：自注意力机制(Self-Attention)
本周课程介绍了自注意力机制（Self-Attention）的基本概念与应用场景。自注意力机制适用于处理可变长度的序列输入，如文本、语音和图结构数据。其核心思想是通过计算输入序列中每个元素与其他元素之间的关联性（Attention Score），动态地聚合全局信息，生成每个位置对应的输出向量。
2025-08-24 18:17:40
1149
原创 机器学习09：GAN效能评估与条件式以及循环生成对抗网络
出现这一问题的原因我们可以从微分入手，当解码器发生微小的变化则其输出的分布也会发生微小变化，由于文字生成涉及离散的token输出，而其微小变化并不会影响最大的token，对于鉴别器而言前后两者的token一样，所以分数也是一样的。但这样就背离了生成器的初衷，生成一个真实数据中没有的数据。而对于一般的例子，也是一样运行一个影像的分类系统，将生成的图片，输入到这个影像分类系统中得到一个几率分布P(c|y)，若P(c|y)的结果越集中就代表生成的图片可能就越好，若结果更平均则代表生成的图片更奇怪。
2025-08-17 16:13:30
841
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人