李宏毅教授调参课程笔记总结

最新推荐文章于 2022-11-22 16:31:07 发布
原创 最新推荐文章于 2022-11-22 16:31:07 发布 · 190 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#调参 #笔记总结

探讨了在机器学习中效果相近的超参数组合及基于模型的超参数优化策略，涉及利用回归模型寻找最佳配置，提出了使用RNN设计CNN架构以提高准确性，以及激活函数与学习率的选择。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hyperparameters Tuning

 

效果好的几组参数可能效果差别不大

 

Model-based Hyperparameter Optimization

  • 根据采样数据构建一个回归模型
  • 寻找一个置信度大且准确率高的点，但同时需要进行一定程度的探索

很大程度决定于回归模型的好坏

 

可以将回归模型改为RNN，输出即为CNN的架构，再用CNN的accuracy作为回报，努力使得RNN设计出的架构能得到更大的回报

 

决定激活函数：使其输出应该使用哪个unary函数

 

决定learning rate：

《Neural Network and Deep Learning》学习笔记-hyper-parameters
tina的博客
06-07 5864
本系列笔记为《Neural Network and Deep Learning》学习笔记本系列笔记汇总 各种待续中…… 第一章 第二章 第三章 Improving the way neural networks learn 3.1 交叉熵代价函数 3.2 正则化方法 3.3 权值初始化 3.4 hyper-parameters选取 3.5 一些其他技术 第四章 可视化
李宏毅教授A3C课程笔记总结
weixin_42825220的博客
07-25 739
A3C (Asynchronous Advantage Actor-Critic) 远优于DQN Alpha go用到了model-based的方法 On-policy：学习的agent和与环境互动的agent是同一个 Off-policy：学习的agent和与环境互动的agent是不同的 注意学习的agent和交互的agent之间的差别不能太大 Actor：是一...
【李宏毅机器学习学习1】
Raphael9900的博客
11-22 881
概念描述和方程分析
李宏毅2022《机器学习/深度学习》——学习笔记（2）
dotJunz的博客
10-05 741
机器学习模型中一般有两类参数：一类需要从数据中学习和估计得到，称为模型参数（Parameter）—即模型本身的参数。还有一类则是机器学习算法中的调优参数（tuning parameters），需要人为设定，称为超参数（Hyperparameter）。这里引入了新的概念 batch，将总的训练集随机划分成一个个 batch，用每一个 batch 计算一个 Loss，计算梯度，更新一次。激活函数可以嵌套，把上一层激活函数的结果作为下一层激活函数的输入，这样函数的未知参数就会更多了，模型也更加复杂。
李宏毅：Tuning Hyperparameters（超参数）
jiaojiaolou的博客
05-25 1195
1、grid search vs random search 有时候random search的方法还是不错的，因为top k的结果已经相差不大。所以没有必要扫过所有的参数组合，只要取前k名的其中一个结果就好了。 有sample到K的几率： 2、model-based hyperparameter optimization 不一定好用 3、reinforcement learni...
【机器学习】李宏毅机器学习-Keras-Demo-神经网络手写数字识别与调参
weixin_30756499的博客
04-30 440
参考： 原视频：李宏毅机器学习-Keras-Demo 调参博文1：深度学习入门实践_十行搭建手写数字识别神经网络 调参博文2：手写数字识别---demo（有小错误） 代码链接： 编程环境： 操作系统：win7 - CPU anaconda-Python3-jupyter notebook tersonFlow：1.10.0 Keras：2.2.4 背景： 视频里宝可梦大师提供的部分参数设...
李宏毅教授GAN课程笔记总结
weixin_42825220的博客
07-25 860
GAN 参考文献： 受限玻尔兹曼机也是生成模型 自编码机： 所学得的NN Decoder可以将一个任意生成的向量生成为一张图片 VAE(Variational Auto-Encoder)变分自编码器： 为了不使σ 为0，因此加入限制： 目的是为了使得m越接近0越好，相当于L2的正则化，而前一项也越接近0越好 缺点：没有真正去模拟一张图片，无法达到和...
李宏毅教授Batch Normalization课程笔记总结
weixin_42825220的博客
07-25 574
Batch Normalization Feature Scaling/Feature Normalization/Feature Standardization 如果斜率差别大，那么不同方向上需要不同的learning rate，经过feature normalization后，error surface接近正圆形，使得训练更容易 计算过程： 在神经网...
李宏毅教授Policy Gradient课程笔记总结
weixin_42825220的博客
07-26 656
Policy gradient： 求解梯度trick： ∇fx=f(x)∇logf(x) Tip1：将回报值的期望作为基线，使得每次计算的回报有正负区别 Tip2：不将整场游戏得到的reward作为权重，为每个动作分配应有的权重，权重即为从当前时间t开始所有reward的累加 改进：增加折扣 On-policy：所学习的agent和用于环境交互的agent是同一个...
李宏毅教授Capsule课程笔记总结
weixin_42825220的博客
07-25 533
Capsule 取代neuron neuron输出一个值，capsule输出一个向量 neuron只能检测某一特定的模式，capsule可以检测一类模式 其中向量v的每一维代表模式的一个特性 Squash相当于进行挤压，只会改变长度而不会改变方向 c1 和c2 不是学出来的，而是由测试阶段决定的 有点像排除离群点 训练的时候还是需要后向传播 NN是用...
《李宏毅机器学习课程详细笔记整理》
06-18
李宏毅教授的台湾大学2017年版《机器学习》课程被整理成了详细笔记并制作成PDF文档，供人学习分享。这份笔记内容丰富，涵盖了监督学习、非监督学习、深度学习、强化学习等多个重要领域，还涉及多种学习模型和算法的...
李宏毅教授Attention课程笔记总结
weixin_42825220的博客
07-25 1575
Generation 可以用RNN生成文本、图片(grid lstm)、视频、手写字、语音 *grid lstm Conditional generation：不是随机产生，而是有情境地产生 应用：image caption/machine translation/chat-bot Encoder和Decoder的参数可以一样或者不一样，当参数一样时，参数比较少，比较不容...
⭐李宏毅DNN笔记---超参数调节
⛄
11-23 2407
深度学习步骤： 训练后结果判断： 超参数调节方法：
springboot尿毒症健康管理系统的设计与实现论文
最新发布
08-12
springboot尿毒症健康管理系统的设计与实现
python 列表文本转表格
08-12
python
关于多视图几何的论文，以及与点云深度学习相关的文章
08-12
资源下载链接为： https://pan.quark.cn/s/a447291460bd 关于多视图几何的论文，以及与点云深度学习相关的文章（最新、最全版本！打开链接下载即可用！）
基于MATLAB Simulink的质子交换膜燃料电池系统模型开发与控制策略仿真
08-12
内容概要：本文详细探讨了质子交换膜燃料电池（PEMFC）系统模型的构建与开发，特别是利用MATLAB Simulink平台进行建模和仿真的方法。文中涵盖了空压机、供气系统（阴极和阳极）、背压阀和电堆四个核心组件的数学模型建立，旨在帮助研究人员更好地理解PEMFC系统的运行机制。此外，还介绍了如何通过调整各组件的关键参数来优化系统的性能，从而为实际应用提供了理论依据和技术支持。 适合人群：从事燃料电池研究的技术人员、高校相关专业师生、新能源领域的科研工作者。 使用场景及目标：适用于希望深入了解PEMFC系统内部运作机制的研究人员，以及需要进行控制系统设计和优化的工程技术人员。目标是掌握MATLAB Simulink建模技巧，提升对PEMFC系统的理解和应用能力。 其他说明：文章不仅提供了详细的模型构建步骤，还包括具体的示例代码和讨论，便于读者实践操作并加深理解。
三菱FX3U与东元TECO N310变频器Modbus通讯实战及触摸屏程序详解
08-12
三菱FX3U PLC通过485ADP-MB板与东元TECO N310变频器进行Modbus通讯的具体实现方法。主要内容涵盖硬件连接、参数设置、PLC编程技巧以及触摸屏程序的设计。文中提供了详细的接线图、参数配置步骤、核心代码片段，并分享了一些实用的经验和避坑指南。此外，还特别强调了终端电阻的作用、波特率一致性、接地线的重要性以及CRC校验的正确使用。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是需要进行PLC与变频器通讯项目的从业者。 使用场景及目标：适用于需要将三菱FX3U PLC与东元TECO N310变频器进行Modbus通讯的实际工程项目。主要目标是帮助工程师快速掌握通讯配置和编程技巧，确保系统稳定可靠地运行。 其他说明：本文不仅提供理论指导，还包括大量实践经验，如硬件接线注意事项、常见错误排查等，有助于提高工作效率并减少调试时间。同时，附带的触摸屏程序也为不同品牌设备间的兼容性提供了保障。
基于Matlab的Yalmip+Cplex的两阶段鲁棒微电网优化方案：储能与配电网交互的综合经济成本优化
08-12
利用Matlab平台结合YALMIP工具箱和Cplex求解器实现的两阶段鲁棒微电网优化方法。该方法旨在优化微电网内的储能系统和微型燃气轮机的投资与运行成本。文中首先解析了目标函数，包括投资成本（如储能系统的等年值投资成本）和运行成本（如配电网交互成本、各单元运维成本及微型燃气轮机的燃料成本）。接着阐述了具体的约束条件，如功率平衡约束和配电网交互约束。最后展示了如何使用YALMIP和Cplex求解器进行优化求解，并强调了模型的稳定性和代码注释的重要性。 适合人群：对微电网优化感兴趣的科研人员、电力系统工程师和技术爱好者。 使用场景及目标：适用于希望深入了解微电网优化理论及其应用的研究者，特别是那些希望通过数学建模和优化算法提高微电网经济效益的人群。目标是在不确定环境下找到最佳的微电网调度策略，从而降低总体运营成本。 其他说明：文中提供了详细的Matlab代码示例，有助于读者更好地理解和实践所介绍的方法。同时，附带的图表和文献引用也为进一步研究提供了便利。
李宏毅2017机器学习课程个人笔记详解
李宏毅机器学习2017课程的笔记反映了课程的知识点分布，通常包括以下内容：线性回归、逻辑回归、支持向量机、决策树、随机森林、神经网络、深度学习、卷积神经网络（CNN）、循环神经网络（RNN）、强化学习等。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值