<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Master_oid的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Master_oid</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Master_oid]]></copyright><item><title><![CDATA[机器学习48：ID3决策树与C4.5决策树]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/162372180</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/162372180</guid><author>Master_oid</author><pubDate>Sun, 28 Jun 2026 20:45:00 +0800</pubDate><description><![CDATA[一．决策树简介决策树中每一个内部节点表示一个特征上的判断，每一个分支代表一个判断结果的输出，每一个叶子节点代表一种分类结果。对于决策树的建立过程：1.特征选择：选取有较强分类能力的特征。2.决策树的生成:根据选择的特征生成决策树。3.决策树也易过拟合，通过采用剪枝的方法缓解过拟合。所以决策树本质上是一个基于“如果-那么”规则的可解释流程图，通过基尼系数或信息增益等纯度指标递归地选择最优特征对数据进行分裂，天然具备无需数据标准化和捕捉非线性关系的优势；]]></description><category></category></item><item><title><![CDATA[机器学习47：逻辑回归--进阶篇]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/162036452</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/162036452</guid><author>Master_oid</author><pubDate>Sun, 21 Jun 2026 20:30:00 +0800</pubDate><description><![CDATA[本文深入介绍了二分类模型的评估方法与逻辑回归的进阶应用。文章首先讲解了混淆矩阵、精确率、召回率、F1-score等评估指标，并通过代码示例对比了不同模型的性能差异。随后阐述了ROC曲线与AUC指标的原理及其在类别不平衡场景下的优势。最后通过电信客户流失案例，展示了从数据预处理（独热编码）、可视化分析到模型训练与评估的完整流程。]]></description><category></category></item><item><title><![CDATA[机器学习46：逻辑回归--基础篇]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/161980771</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/161980771</guid><author>Master_oid</author><pubDate>Sun, 14 Jun 2026 20:45:00 +0800</pubDate><description><![CDATA[本文介绍了逻辑回归的基本原理与应用。逻辑回归通过在线性回归基础上引入Sigmoid函数，将输出映射为概率值，用于解决二分类问题。文章阐述了其假设函数与损失函数，并通过乳腺癌预测案例展示了完整的建模流程。]]></description><category></category></item><item><title><![CDATA[机器学习45：线性回归进阶篇③]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/161775383</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/161775383</guid><author>Master_oid</author><pubDate>Sun, 07 Jun 2026 18:08:08 +0800</pubDate><description><![CDATA[针对过拟合问题，详细介绍了L1正则化（产生稀疏解，实现特征选择）与L2正则化（权重趋近于小值，使模型平滑）的原理与效果，并通过代码示例验证了正则化参数α对模型的影响。本文介绍了线性回归的两种API实现（正规方程法与随机梯度下降法），并通过波士顿房价预测案例展示了完整的建模流程，包括数据加载、特征标准化、模型训练与评估（MSE、RMSE、MAE）。它的核心特点是会导致部分权重参数变为零，从而实现特征选择，使模型变得稀疏——即自动忽略那些不重要的特征，适合用于高维数据或需要降低模型复杂度的场景。]]></description><category></category></item><item><title><![CDATA[机器学习44：线性回归进阶篇②]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/161562217</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/161562217</guid><author>Master_oid</author><pubDate>Sun, 31 May 2026 20:45:00 +0800</pubDate><description><![CDATA[本文进一步深入介绍了梯度下降法的多变量情形。文章以二元函数为例演示了多变量梯度下降的迭代过程，讨论了学习率对收敛的影响。通过银行信贷案例，完整推导了从假设函数、损失函数到梯度计算与参数更新的全过程。文章对梯度下降法进行了分类，对比了全梯度下降、随机梯度下降、小批量梯度下降、随机平均梯度下降及Adam等方法的原理与优缺点。此外，对比了梯度下降与正规方程法的适用场景，并介绍了回归模型的三种评估指标：MAE、MSE与RMSE。]]></description><category></category></item><item><title><![CDATA[机器学习43：线性回归进阶篇①]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/161363448</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/161363448</guid><author>Master_oid</author><pubDate>Sun, 24 May 2026 20:45:00 +0800</pubDate><description><![CDATA[文中从一元线性回归的偏导推导到多元线性回归的矩阵表达，再到梯度下降的直观示例，层层递进地揭示了两种方法的数学本质与应用场景。随后，文章详细阐述了梯度下降法的基本原理与迭代公式，以单变量函数为例演示了参数更新过程，并讨论了学习率的选择与停止策略。对于何时停止进行梯度下降运算，我们可以设置计算次数的上限（也就是向下走的步数），或者给最后的结果设一个阈值，如果最后的结果达到了阈值就结束运算。为了求得损失函数的最小值，则就要先求得损失函数最小值时，对应的k与b的取值，所以这里就对损失函数分别对于k和b求偏导。]]></description><category></category></item><item><title><![CDATA[机器学习42：线性回归基础篇]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/161167015</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/161167015</guid><author>Master_oid</author><pubDate>Sun, 17 May 2026 20:45:00 +0800</pubDate><description><![CDATA[这个简单模型可以用于健康评估、服装尺码推荐等场景，不过需要注意，如果数据呈现出非线性特征（如儿童期与成年期生长规律不同），线性回归的效果就会受限，需要考虑更复杂的模型。算法计算出最优的w和b。从图中可以看出，红色的线更好地拟合了所有的点，也就是误差最小，误差之和最小。这时，只要求得一对w与b的值，使得损失函数最小，便可以得到最终的结果，从而根据已知的身高预测其对应的大致体重。上面说明的是一元线性回归，而多元线性回归与一元线性回归原理差不多，只是多元参考的因素变多了，其线性回归的模型找到的回归线为。]]></description><category></category></item><item><title><![CDATA[机器学习41：利用KNN算法实现手写数字识别]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/160957537</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/160957537</guid><author>Master_oid</author><pubDate>Sun, 10 May 2026 20:45:00 +0800</pubDate><description><![CDATA[在训练模型是也是先加载手写数字数据集，然后对数据进行预处理（归一化），然后参照y中各个数据的分布同等比例分割数据集，避免分割数据集后数据分布失衡（如分割后训练集中可能全是0、1、3、7），接着就是模型训练与模型评估，最后我们将模型经行保存。在实现手写数字识别时，先看看数据中的灰度图像。查看所有标签的分布情况：Counter({1: 4684, 7: 4401, 3: 4351, 9: 4188, 2: 4177, 6: 4137, 0: 4132, 4: 4072, 8: 4063, 5: 3795})]]></description><category></category></item><item><title><![CDATA[机器学习40：超参数选择方法]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/160565672</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/160565672</guid><author>Master_oid</author><pubDate>Sun, 03 May 2026 19:00:00 +0800</pubDate><description><![CDATA[其中estimator是估计器对象，param_dict是估计器参数，cv是几折交叉验证，在结果中bestscore_是指在交叉验证中验证的最好的结果，bestestimator是指最好的参数模型，cvresult是指每次交叉验证后的验证集准确率结果和训练集准确结果。通过这四次训练集+验证集的评估，得到的四次结果取平均值作为模型的得分。通过前面我们知道了交叉验证解决模型的数据输入问题（数据集划分）得到更可靠的模型，网格搜索解决超参数的组合，两者组合在一起就形成了一个模型参数调优的解决方案。]]></description><category></category></item><item><title><![CDATA[机器学习39：通过KNN算法对鸢尾花分类]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/160311195</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/160311195</guid><author>Master_oid</author><pubDate>Sun, 19 Apr 2026 17:49:01 +0800</pubDate><description><![CDATA[接着对这个字典形态数据中的所有的键进行输出便得到dict_keys(['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename', 'data_module'])的结果。其中特征名为第一行。我们这里的鸢尾花是分为变色鸢尾、维吉尼亚鸢尾和山鸢尾三种，对于这三种的区分是通过对鸢尾花花萼与花瓣的长和宽进行测量，在对应的范围区间就对应品种的花。有了这些键，就查看对应键的数据（对于有150条的数据，这里只看前五个）。]]></description><category></category></item><item><title><![CDATA[机器学习38：距离度量与特征处理]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/160083909</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/160083909</guid><author>Master_oid</author><pubDate>Sun, 12 Apr 2026 20:45:00 +0800</pubDate><description><![CDATA[本文介绍了机器学习中常用的四种距离度量方法：欧氏距离、曼哈顿距离、切比雪夫距离以及闵可夫斯基距离，并解释了它们之间的数学关系与适用场景。此外，文章详细阐述了特征处理中的两种无量纲化技术——归一化与标准化，分析了各自的原理、计算公式、优缺点及适用条件，并通过代码展示了基于scikit-learn的具体实现。这些预处理方法对提升模型性能与稳定性具有重要意义。]]></description><category></category></item><item><title><![CDATA[机器学习37：K邻近算法（K Nearest Neighbor，KNN）]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/159823213</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/159823213</guid><author>Master_oid</author><pubDate>Sat, 04 Apr 2026 11:03:27 +0800</pubDate><description><![CDATA[就如利用K近邻算法预测电影类型，如下表，其中1到9的电影名称以及三个不同类别的镜头为x_train,对应的电影类型为y_train,而第10个的电影名称以及三个不同类别的镜头为x_test，我们要预测的就是其对对应的电影类别y_test。若k值过小，也就是用较小领域中的训练实例进行预测，这时就容易受到异常点的影响，k值的减小就意味着整个模型变得复杂，容易发生过拟合。若k值过大，也就是用较大领域中的训练实例进行预测，这时就容易样本均衡的问题，k值的增大就意味着整个模型变得简单，容易发生欠拟合。]]></description><category></category></item><item><title><![CDATA[机器学习36：机器学习概述]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/159613424</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/159613424</guid><author>Master_oid</author><pubDate>Sun, 29 Mar 2026 15:31:28 +0800</pubDate><description><![CDATA[这包括处理缺失值（如填充、插值或删除缺失严重的记录）、识别并处理异常值（基于统计方法或业务规则），以及对数据进行划分，将数据集按比例拆分为训练集、验证集和测试集，保证模型评估的客观性。其中将前面部分的特征就称之为x_train，下面的部分就是用来测试的称之为x_test，训练集特征得到的标签就是y_train，最终希望得到的就是y_test。其实中训练数据我们可以看作是x_train，模型就是在找规律找公式，测试数据看作是x_test，在训练时预测结果就是y_train，测试时就是y_test。]]></description><category></category></item><item><title><![CDATA[机器学习35：元学习的应用]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/159352474</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/159352474</guid><author>Master_oid</author><pubDate>Sun, 22 Mar 2026 16:47:38 +0800</pubDate><description><![CDATA[本文介绍了元学习在多个方面的具体应用。首先，通过MAML等方法学习最优的初始化参数，使模型能够快速适应新任务。其次，元学习可用于学习优化器，自动调整更新策略。此外，网络架构搜索（NAS）利用元学习自动设计网络结构。最后，文章还提及了元学习在数据处理、样本重加权等领域的延伸应用，展现了元学习在自动化机器学习中的广泛潜力。]]></description><category></category></item><item><title><![CDATA[机器学习34：元学习（Meta Learning）]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/159084513</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/159084513</guid><author>Master_oid</author><pubDate>Sun, 15 Mar 2026 17:03:31 +0800</pubDate><description><![CDATA[本文介绍了元学习的基本概念与核心思想。元学习旨在让模型学会如何学习，通过在多任务上训练获得快速适应新任务的能力。文章阐述了元学习的三个步骤：定义待学习的算法组件、定义基于任务集的损失函数、优化得到最优学习算法。最后对比了机器学习与元学习在目标、训练资料、损失函数等方面的差异，并指出两者在过拟合等问题上的相似性。元学习为自动发现高效学习算法提供了重要途径。]]></description><category></category></item><item><title><![CDATA[机器学习33：机器终身学习（Life Long Learning，LLL）②]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/158698101</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/158698101</guid><author>Master_oid</author><pubDate>Sun, 08 Mar 2026 20:45:00 +0800</pubDate><description><![CDATA[本次进一步探讨了机器终身学习中的核心问题——灾难性遗忘的产生原因，并从参数空间的角度解释了遗忘发生的机理。针对这一问题，文章系统介绍了三类主流解决方法：选择性突触可塑性通过约束重要参数的变化来保护旧知识；额外神经资源分配通过动态扩展网络结构来学习新任务；记忆回放则利用生成模型重放过往数据以巩固记忆。这些方法为构建可持续学习的智能系统提供了不同思路。]]></description><category></category></item><item><title><![CDATA[机器学习32：机器终身学习（Life Long Learning）①]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/157874022</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/157874022</guid><author>Master_oid</author><pubDate>Sun, 08 Feb 2026 17:38:32 +0800</pubDate><description><![CDATA[一．机器上的终身学习对于终身学习，通过浏览器搜索最有可能得到的答案不是与机器学习有关的内容，而是关于人类的活到老学到老。虽然大家关注的主题多是偏行人类如何活到老学到老，但是机器其实也是需要做终身学习。机器对于终身学习这件事也是非常接近与人类对于AI的想象。就如先教机器第一个任务学会做语音识别接着教其第二个任务做影像识别，然后第三个任务翻译等等不断教会其新的技能，等其学会上百上千万技能后就可能像终结者中的天网一样。]]></description><category></category></item><item><title><![CDATA[机器学习31:神经网络压缩（Network Compression）——网络压缩技术②]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/157554385</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/157554385</guid><author>Master_oid</author><pubDate>Sun, 01 Feb 2026 20:45:00 +0800</pubDate><description><![CDATA[所以对于一般的卷积，要有k×k的核大小，以及输入通道和输出通道参数分别为I和O，则首先一共过滤器的参数就为k×k×I,所以一共参数为(k×k×I)×O。这个方法要做的事情与前几个方法不一样，前几个方法要做的事情都是单纯的把network变小，而在动态计算中要做的就是希望network能够自由的调整它所需的运算量。因为有时同样的模型会运行在不同的设备上，不同的设备上的运算资源是不太一样的或在同时设备上不同情况下所需的资源也是不一样的。对于常出现的参数就用较短的编码表示，对于少用的就用较长的编码表示。]]></description><category></category></item><item><title><![CDATA[机器学习30:神经网络压缩（Network Compression）①]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/157363513</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/157363513</guid><author>Master_oid</author><pubDate>Sun, 25 Jan 2026 20:24:19 +0800</pubDate><description><![CDATA[这个彩票假说在实验上被证实的方式与网络的剪枝非常相关。如下：现在有一个大的网络，在这个网络中一开始的参数是随机初始化的，之后便可以得到一组训练完的参数（用紫色表示），接着用网络剪枝的技术将一些紫色的参数丢掉得到比较小的网络。一个普遍的答案是大的网络好训练，如果直接训练一个小的网络往往得不到跟大的网络一样的正确率。知识蒸馏与网络剪枝是有类似之处，知识蒸馏是先训练一个大的模型被称为教师网络模型，通过这个模型来得到小的模型也就是学生网络模型，其与网络剪枝不一样的是其小的网络是更具大的教师网络模型进行学习的。]]></description><category></category></item><item><title><![CDATA[机器学习29：增强式学习（Deep Reinforcement Learning）④]]></title><link>https://blog.youkuaiyun.com/Master_oid/article/details/157101240</link><guid>https://blog.youkuaiyun.com/Master_oid/article/details/157101240</guid><author>Master_oid</author><pubDate>Sun, 18 Jan 2026 19:15:42 +0800</pubDate><description><![CDATA[本次学习了深度强化学习中应对稀疏奖励与无明确奖励信号的核心方法。首先详细了解了奖励塑造的基本概念，分析了在稀疏奖励环境下通过引入基于领域知识的额外奖励以引导智能体学习的机制，并特别探讨了基于好奇心的奖励塑造方法。进一步，深入讨论了在完全缺乏奖励信号的情况下如何通过模仿学习与逆强化学习进行策略学习，重点剖析了逆强化学习通过专家示范反推奖励函数、并迭代优化智能体策略的工作原理，同时揭示了其与生成对抗网络在框架上的深刻相似性，为理解和应用复杂环境下的强化学习提供了关键思路。]]></description><category></category></item></channel></rss>