机器学习随记【day19-day20】

原创 已于 2022-02-10 20:16:30 修改 · 630 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

于 2022-02-10 19:45:51 首次发布
本文探讨了数据集分割、模型选择和评估的重要性，强调了训练集、验证集和测试集的合理分配。介绍了线性回归和逻辑回归，并讨论了正则化在控制模型偏差和方差中的作用。通过学习曲线分析，展示了高偏差和高方差问题，提出了解决欠拟合和过拟合的策略，帮助读者理解如何选取合适的正则化参数以提高模型的泛化能力。

评估假设

分割数据集，典型比例为7：3，通常先打乱再分割，下标m表示样本来自测试集
在这里插入图片描述
线性回归
在这里插入图片描述
逻辑回归
在这里插入图片描述
模型选择
在这里插入图片描述
用训练集训练出来的模型再训练集上不能预测出其对于新样本的泛化能力，因此把数据集分成训练集、验证集、测试集，典型为6：2：2
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

诊断偏差与方差

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

正则化与偏差、方差

在这里插入图片描述
如何选取合适的正则化参数
在这里插入图片描述
代价函数不用加正则化项
在这里插入图片描述
尝试不同参数，用交叉验证误差最小的之后可以用测试集来评估
在这里插入图片描述

学习曲线

数据用的越多，泛化性能越好，所以J_cv递减
数据越多，想对每一个样本都很好的拟合越困难，所以J_train递增
画出学习曲线有助于了解你算法可能处于的情况
在这里插入图片描述
高偏差
事实上，一个学习算法有高偏差，随着m增加，两曲线趋平，且相等，此时再增加数据也没有太大的意义
在这里插入图片描述
高方差
在这里插入图片描述
欠拟合(λ较大)会产生高偏差；过拟合(λ较小)过产生高方差

解决

在这里插入图片描述

Micropython RPI-PICO 随记 PN532-IC卡规则一秒会
技术需要沉淀，需要碰撞。
02-20 468
M1卡的扇区、块规则；读写数据；修改密码；
机器学习随记【day07-08】
ztyLOVElearning的博客
01-17 733
多变量线性回归 模型 假设函数 此处为了表示方便将x0定1，且可以将其用矩阵相乘表示 代价函数 单变量与多变量梯度下降比对 特征缩放 举例 视频中举房价为例子，有两个变量x1为0-200的面积 x2为1-5的数量卧室 以θ1、θ2为变量绘制等高图 (立椭圆的图形特征可以用梯度下降的步伐或者导数大小来理解) 易见变量相差较大时，梯度下降需要多次迭代才能收敛 为减少迭代次数，通过缩放使他们相差较小(椭圆化圆的味道) 均值归一化(Mean normalization) μi为xi的均值 Si为xi的
机器学习随记【day02-03】
ztyLOVElearning的博客
01-13 431
课程中会用到的符号 m = Number of training examples 训练样本的数量 x’s =“input” variable / features 输入特征 y’s = “output” variable /"target"variable 输出变量 (x,y) =one training example 一个训练样本 (x^ (i),y^ (i) ) 第i个训练样本，i不是幂指数，而是索引 模型描述 Linear regression 线性回归 假设函数h(hypothesi
机器学习随记【day25-day26】
ztyLOVElearning的博客
02-17 728
无监督学习 简单地说，监督学习是:我们有一个带标签的训练集，然后我们的目标是找到一条可以区分正样本和负样本的决策边界，即用假设函数拟合标签。无监督学习的数据没有标签 聚类算法 在聚类问题中，我们给定一组未加标签的数据集，希望找到一个算法能够自动地将这些数据分成有紧密关系的子集或簇。 应用 K-means算法 第一个for 循环:对于每个样本从第1个到K个最接近X^i 的聚类中心下标，赋给C ^i 第二个for 循环:移动聚类中心，即将聚类中心移动到簇的均值处，若某个中心没有点，通常删除这个点，或者随记初
机器学习随记【day15-day18】
ztyLOVElearning的博客
01-29 1754
神经元与大脑 模型展示 神经元 图为一个带有sigmoid或logistic激活函数的人工神经元模型 x0:偏置单元(bias unit)/偏置神经元(bias neuron), 总等于1 神经网络 神经网络其实是一组神经元连接在一起的集合 输入层(Input layer):第一层，输入特征x1，x2，x3 输出层(Out layer):最后一层，输入假设的最终结算结果 隐藏层(Hidden layer):中间层，即非输入非输出层 a^j_i:表示第 j 层第 i 个激活项,激活项指由一个具体神经
机器学习随记【day11-day13】
ztyLOVElearning的博客
01-21 551
分类问题 与回归问题同属于监督学习，区别在于预测离散值的输出、 用线性回归解决分类问题 可以假设输出阈值为0.5，大于0.5则预测1，反之预测0。 若添加一个没有提供任何信息系得样本，线性回归对数据得拟合直线会因此改变，偏离正确直线；此外，假设函数的输出值会远大于1或远小于0，即使所有样本的训练标签都是0或1。因此通常不用线性回归解决分类问题。 逻辑回归 模型 假设函数：hθ (x)=g(θTX) 【这个转置符号markdown怎么打救命。。。。】 其中g(x) :Sigmod函数/Logisti
机器学习随记【day14】
ztyLOVElearning的博客
01-24 834
正则化 引入 两图都是较好的拟合结果，之前提过P2出现过拟合的情况，泛化的能力不佳。这时为了减小x ^3与x ^4的影响，可以在代价函数中加入惩罚,即图中的形式，+1000θ ^3+1000θ ^4,这样可让两个参数很小 此处的1000指很大的数 正则化思想 简化假设模型，因此也减少了过拟合的情况。 当我们有多个参数， 正则化代价函数 当我们有多个参数，而不知道那些需要添加惩罚，就对所有特征添加惩罚，则可以得到以下正则化代价函数: 第一项的目的是训练模型更好拟合训练集；第二项目的是保持参数尽可能小，其
机器学习随记【day01】
ztyLOVElearning的博客
01-11 750
内容主要出自吴恩达机器学习网课 机器学习 Grew out of in AI New capabilitiy for computers 计算机开发的新功能 部分应用 Data mining 数据挖掘 Applications cant program by hand 人无法手写的程序 Self-customizing programs 私人定制程序 Understanding human learning(brain,real AI) 理解人
【linux学习】Day1-VMware和Ubuntu的安装
weixin_48403549的博客
02-10 1220
“Ubuntu虚假的时间”
C语言学习笔记-知识点随记1
weixin_54778315的博客
10-25 1839
一些知识点随记。
C# 随记1 --歌曲演示
m0_65344060的博客
12-26 549
/如果程序在try里面有问题了，会直接跳到这里，也不会执行try下面的，，，，所以释放资源要给到finally。//歌曲路径，可以不显示出来在列表中，但是取出来了。//需要检测的代码，，也就是可能出现异常的代码。//只有异常，才会进入。//获取双击的歌曲的路径。
学习随记：纹波噪声谐波区别
09-04
在电子学中，纹波、噪声和谐波是三个经常被提及的概念，它们通常会影响电子设备的性能与可靠性。纹波通常指的是一种周期性的或随机的交流电压成分，它叠加在直流电平之上。在额定输出条件下，这一交流电压的峰值大小...
随记——机器学习
m0_56569131的博客
09-26 1069
本来有个500块钱的单子，用机器学习做一个不知道什么鸟的识别，正好有数据集，跑个小项目，过一下机器学习图像识别的流程，用很短的时间记录下来.....42 常被用作随机数生成的“宇宙的终极答案”，这个数字在编程和数学中有一种幽默的文化象征。实际上，你可以选择任何整数作为种子，使用相同的种子将得到相同的划分结果。因此，选择42只是一个约定，任何其他整数都可以达到相同的效果。import osimport cv2# 定义数据集的路径。
【STM32随记】---DHT11模块使用
qq_43481862的博客
04-29 8132
【STM32随记】—DHT11模块使用 DHT11 开始发送数据流程 设置IO口为输出，使用MCU向DHT11发送开始信号（拉低总线），主机至少延时等待18ms 延时完毕后拉高总线，主机至少延时等待20~40us 延时完毕后读取DHT11的回应信号，正常情况下读取到的总线为低电平，并维持40~50us，即DHT11 发送了响应信号；如果读取响应信号为高电平，则 DHT11 没有响应，请检查线路...
肝硬化患者肝功能分级临床预测模型：基于机器学习的多变量分析
huanghm88的专栏
12-11 213
摘要 本研究基于128例肝硬化患者的34项临床指标，采用机器学习方法构建肝功能分级预测模型。通过XGBoost、随机森林等多种算法比较，发现XGBoost模型表现最优，预测准确率达86.5%，AUC值0.89。研究确定了总胆红素、白蛋白等10个关键预测因子，为临床肝功能评估提供了新的辅助工具。该模型整合了多维临床数据，较传统Child-Pugh评分更具综合性，有助于优化肝硬化患者的个体化诊疗决策。未来需扩大样本量进行多中心验证，进一步完善模型性能。 关键词：肝硬化；肝功能分级；机器学习；预测模型；XGBoo
机器学习高阶教程＜3＞统计学习理论进阶
最新发布
2303_77568009的博客
12-16 616
你是否经历过模型在训练集上表现完美，在测试集上却一塌糊涂？这背后是训练误差与泛化误差的鸿沟。本文带你深入统计学习理论的核心，用生活化类比拆解VC维、Rademacher复杂性等“烧脑”概念，揭示它们如何共同编织泛化误差边界这张“安全网”。通过直观的可视化代码，你将看到直线分类器为何只能“打散”3个点而非4个点，以及不同模型在噪声标签下的不同表现。最后，这些理论将落地为三个实战解决方案，帮你从“凭经验调参”升级为“靠理论导航”的理性设计者。
机器学习进阶＜5＞K-means智能客户分群与可视化分析系统
2303_77568009的博客
12-09 1273
这篇博客详细介绍了基于Streamlit构建的交互式K-means聚类学习平台。该项目通过模块化设计，带领用户从数据生成、算法原理演示、最佳K值选择，到实际应用场景（如客户细分、图像颜色量化）和交互式练习，完整实践无监督学习流程。平台集成了丰富的可视化组件与即时反馈功能，特别适合机器学习初学者直观理解K-means的核心概念与实现步骤。博客还提供了完整的代码解析、运行指南及资源推荐，是一份深入浅出的实战教程。
机器学习进阶＜10＞分类器集成：集成学习算法
2303_77568009的博客
12-12 792
这篇博客是一篇关于分类器集成技术的全面实战指南，涵盖了从理论基础到代码实践的完整知识体系。文章以"三个臭皮匠顶个诸葛亮"的智慧为核心隐喻，系统阐述了如何通过组合多个弱分类器来构建强大的集成模型，从而突破单分类器的性能瓶颈。
机器学习进阶＜9＞基于 PCA 的图像压缩与还原
2303_77568009的博客
12-11 1152
这篇博客系统性地探索了主成分分析(PCA)在图像处理中的进阶应用。从基础的图像压缩演示入手，直观对比了保留90%与50%信息时的视觉差异与压缩率；进而深入至多主成分重构误差分析与“肘点”选择，为参数优化提供科学方法。核心创新在于将PCA拓展至异常检测领域：利用核PCA(Kernel PCA)处理非线性数据，实现图像局部异常定位；并横向对比PCA、Isolation Forest、One-Class SVM等多种算法的检测性能。
开发随记
09-10
开发相关随记包含多个方面： - **软件开发**：在增加和设计较为庞大的程序时，要考虑程序结构设计，如解耦、层与层接口、模块之间关系、参数、ram、flash、运行速度等。还可学习了解aoutosar的分层结构。新的项目需...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值