[課程筆記] 機器學習2021(李弘毅) L32.概述增強式學習(四)

原创 已于 2022-03-14 20:28:42 修改 · 759 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

于 2022-03-09 00:01:21 首次发布
在强化学习中，稀疏奖励如围棋和机器人任务等常常导致学习困难。奖励塑造通过引入额外的短期目标，如游戏得分机制，帮助模型进行学习。此外，好奇心激励策略使模型在发现有意义的新状态时获得奖励，促进探索。设计有效的奖励机制需要领域知识，以避免无用的探索。

Reward Shaping

Sparse Reward

  • 许多场景中，大多数情况下并没有奖励，像是:
    • 围棋: 平常落子没有奖励，只有棋局结束时才有奖励(输/赢)
    • 机器人栓螺丝: 大多数动作都没有奖励，只有成功栓螺丝才有奖励
  • 人类可以想办法设计额外的奖励来帮助学习，类似短期目标

Reward Shaping

  • 游戏中的得分机制，只有杀死敌人或是被敌人杀死会影响分数
  • 这表示大部分的行为没有奖励
  • 可以设计短期目标，帮助机器学习:
    • 移动、吃补给包、补包加分
    • 扣血: 负奖励 (更容易死亡)
    • 待在原地: 负奖励 (因为模型可能会避免移动，失去探索的机会)
    • 活着: 负奖励 (因为模型可能会移动但避免战斗，失去探索的机会)
  • 需要人类的领域知識介入，才能设计良好的奖励

Curiosity

  • 当模型，看到有意义的新发现时，会获得奖励
  • 有意义的新发现，是为了避免无用的新发现，让模型放弃探索
  • 如何避免无意义的新发现，详情请看论文

参考

  1. ​李弘毅老師 -【機器學習2021】概述增強式學習 (Reinforcement Learning, RL) (四)
    ​

李宏毅2020机器学习资料汇总
⚡
04-08 8万+
前言 可能受到新冠病毒的影响，台大也开始了网课教学。李宏毅上传了2020版本的机器学习视频，可以说是非常好的学习资料（尽管其中多数都是2017、2019的视频，但有部分更新）。 和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习……
【学习笔记】李宏毅2021春机器学习课程第三节：卷积神经网络（CNN）
Harryline的博客
07-17 1131
文章目录1 图像分类问题2 观察一：通过某些模式来识别3 简化一：各扫门前雪3.1 经典的 Receptive Field 设计方式3.1.1 看所有的 Channel3.1.2 使用 3×3 的 Kernel3.1.3 使用较小的步长（一般为1或2）4 观察二：同样的 Pattern 可能会出现在图片的不同区域5 简化二：权值共享6 使用卷积层的好处7 CNN 的另一种介绍方式8 观察三：通过池化操作压缩图像大小9 总结：CNN 的一般架构10 应用： AlphaGo10.1 下围棋和图像的共通特性10.
李宏毅机器学习笔记第17周_概述增强式学习（Reinforcement Learning）
peaunt1的博客
08-04 949
Reinforcement Learning
【第一周】李宏毅机器学习笔记01
qq_30043925的博客
06-30 2808
本周学习了机器学习的基本概念，包括机器学习的函数输入输出类型以及函数的分类，分别了解了简单模型和复杂模型的训练三步骤。认识了神经网络的的结构，了解了深度学习的训练三步骤，学习并手动推导了反向传播法，进一步理解了反向传播的思想以及反向传播中涉及的计算思路。
李宏毅机器学习笔记-Transformer
WBingJ的博客
01-01 1767
Transformer 中的每个 Block 结构较为复杂，不仅包括 self-attention 层和全连接（FC）层，还结合了 residual connections 和 layer normalization 技术，以提高模型性能和训练稳定性。
李宏毅机器学习笔记
weixin_49119476的博客
04-29 2478
m和sigma都考虑了过去所有的gradient。区别：momentum主要考虑方向sigma主要考虑大小momentus是为了增加历史运动的惯性，RMS是为了缓和步伐的大小，变得更平缓network弹性逐渐变小。receptive field + parameter share 即为 convolutional layer。使用卷积层的神经网络即为CNN。CNN有比较大的bias，但是是专门为影像设计，所以在这方面做的很好。
机器学习笔记（李宏毅2022）-机器学习基本概念
qq_42472662的博客
08-20 982
设计一个机器学习模型的步骤
李宏毅机器学习课程笔记
godblesstao的博客
02-28 1887
李宏毅机器学习课程笔记，持续更新~1. Convolutional Neural Network2. Recurrent Neural Network3. Graph Neural Network4. Generative Adversarial Network5. Auto-encoder6. Transformer7. ELMO, BERT, GPT1. Transfer Learning2. Anomaly Detection3. Attack Machine Learning Models4. Ex
李弘毅机器学习笔记：第十六章—无监督学习
fly975247003的博客
09-28 707
李弘毅机器学习笔记：第十六章—无监督学习聚类K-means层次聚类Distributed Representation降维降维样例特征选择主成分分析数学推导主成分分析的另一个角度奇异值分解主成分分析和神经网络缺点应用实例矩阵分解FM推荐系统中的应用MF主题分析的应用未引入的其他相关方法 我把dimension reduction分为两种，一种做的事情叫做“化繁为简”，它可以分为两种：一种是clu...
[課程筆記] 機器學習2021(李弘毅) L29.概述增強式學習(一)
JYLin_master的博客
03-01 3813
目录 A. What is RL ? 1. Machine learning ~ Looking for a Function 2. Example: Playing Video Game 3. Example: Learning to playGo 4. Machine Learning is so Simple Step 1. Function with unknown Step 2. Define loss Step 3. Optimization B. Policy Gradie.
机器学习笔记5.22
07-14
机器学习笔记5.22主要记载了斯坦福大学2014年机器学习课程的个人笔记。该课程由吴恩达授课，旨在全面介绍机器学习、数据挖掘、统计模式识别等领域的基本概念和应用实践。以下是对笔记内容的详细解读： 机器学习是...
李弘毅机器学习材料
05-05
根据提供的文件信息，“李弘毅机器学习材料”是一份针对机器学习领域的详尽学习资源，非常适合初学者作为入门指南。接下来，我们将从几个方面来详细阐述这份材料所涵盖的知识点。 ### 一、机器学习概览 #### 1.1 ...
李弘毅机器学习笔记：监督学习与深度学习应用详解
李弘毅的机器学习笔记是一份深入浅出的学习资料，针对机器学习和深度学习的基础概念进行了详尽的讲解。首先，他强调了监督学习作为机器学习的一个主要分支，其核心是根据已知输入和输出之间的映射关系来训练模型。在...
基于知识图谱+深度学习的大数据NLP医疗知识问答可视化系统（全网最详细讲解及源码/建议收藏）
最新发布
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
12-15 675
本文详细介绍了一个基于知识图谱与深度学习的医疗问答系统。系统采用Neo4j存储医疗知识图谱，使用Aho-Corasick算法进行高效多模式匹配，并整合了BERT+LSTM+CRF深度学习模型。实现流程包括数据爬取、清洗、实体识别、知识图谱建模等步骤，最终构建了一个具有可视化界面的Flask应用。系统支持自然语言问答，能自动存储交互记录到SQL数据库。文章还详细说明了所需的软件环境配置（JDK1.8、Neo4j4.4.5等）和项目目录结构，为开发者提供了完整的实现方案和技术细节。
深度学习中 z-score 标准化理解
musk1212的博客
12-11 1123
摘要： z-score标准化是深度学习中关键的数据预处理方法，通过将数据转换为均值为0、标准差为1的分布，有效提升模型训练效率并消除特征量纲差异。其核心公式为z=(x-μ)/σ，适用于加速收敛、平衡多特征权重及异常值检测等场景。与Min-Max归一化相比，z-score对异常值更鲁棒，是神经网络训练的首选方法。需注意避免数据泄露问题（测试集必须使用训练集的μ和σ），并处理标准差为0的特殊情况。批量归一化(BatchNorm)是z-score的动态扩展版本。
RNN（循环神经网络）原理
weixin_45776000的博客
12-12 490
RNN的突破：引入"记忆"概念，让网络可以记住之前的信息来处理当前输入。无法建模时间依赖：比如语言中"我今天吃了__"的预测需要前面信息。无记忆性：每个输入独立处理，忽略序列中元素的时间/顺序关系。关键：所有时间步共享相同的权重参数 W, U, V。主要问题：梯度消失/爆炸，通过LSTM/GRU缓解。W: 隐藏状态权重 (h_t-1 → h_t)应用场景：NLP、时间序列、语音识别等序列任务。输入：序列 → 编码 → 解码 → 输出序列。U: 输入权重 (x_t → h_t)
基于深度学习的网络流量异常检测系统
XiaoMu_001的博客
12-11 983
本项目旨在构建一个基于深度学习的高效网络流量异常检测系统。系统采用 **B/S 架构**，前后端分离设计。后端基于 **Django** 框架，前端采用 **Vue 3** + **Element Plus**。核心检测引擎利用 **PyTorch** 构建深度学习模型（MLP 和 1D-CNN），能够对网络流量数据进行实时或离线分析，精准识别良性流量及多种类型的网络攻击（如 DoS, PortScan, Web Attack 等）
机器学习与深度学习基础（五）：深度神经网络经典架构简介
TracyCoder的博客
12-11 825
本文学习要点：1.深度神经网络分层架构：全连接层卷积层池化层2.深度神经网络代表:CNN：CNN、AlexNet、VGG-Net、GoogLeNet（Inception）、ResNet（残差连接）编码器-解码器架构：序列到序列模型（Seq2Seq）
授权委托书识别技术：利用深度学习和NLP实现纸质文档的智能解析
智能图像识别
12-12 772
摘要：授权委托书识别技术利用深度学习和NLP实现纸质文档的智能解析，通过OCR和NER技术精准提取关键字段，准确率达98%以上。该系统具备批量处理、自适应学习、风险预警等功能，处理效率较人工提升数十倍，已广泛应用于政务、金融、法律等领域。该技术不仅大幅提升业务办理效率，还通过本地化部署确保数据安全，正推动多行业数字化转型，未来将与区块链等技术进一步融合，构建更完善的数字化授权解决方案。（149字）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值