- 博客(17)
- 收藏
- 关注
转载 强化学习专栏
简单易懂,结合实战的强化学习专栏,推荐! https://www.cnblogs.com/pinard/category/1254674.html 但是实战还是强推莫烦的强化学习课程,通俗易懂好上手! https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/ ...
2019-08-18 10:57:01
284
转载 对称加密和非对称加密
https://www.jianshu.com/p/b078282653b3 https://blog.youkuaiyun.com/wenxingchen/article/details/81319905
2019-08-11 22:00:38
199
原创 沈华伟老师强化学习课程笔记总结
强化学习:学习从环境状态到行为的映射,使得智能体选择的行为能够获得环境最大的奖赏,使得外部环境对学习系统在某种意义下的评价为最佳。 强化学习是一种计算方法,若只有从交互中学习的想法只能称为强化学习思想,而并不能称之为强化学习。 监督学习是从标注中学习,侧重于泛化性能,区别于监督学习,强化学习是从交互中学习。 监督学习:标注数据,用户给的反馈->预测函数 无监督学习:无标签,无反...
2019-07-27 13:31:28
463
原创 李宏毅教授调参课程笔记总结
Hyperparameters Tuning 效果好的几组参数可能效果差别不大 Model-based Hyperparameter Optimization 根据采样数据构建一个回归模型 寻找一个置信度大且准确率高的点,但同时需要进行一定程度的探索 很大程度决定于回归模型的好坏 可以将回归模型改为RNN,输出即为CNN的架构,再用CNN的accuracy作为回...
2019-07-27 13:20:12
210
原创 李宏毅教授强化学习sparse reward课程笔记总结
Sparse Reward 在实际生活中,reward通常都非常稀疏,只对某一特定行为有reward,而其余的exploration均为0,因此agent往往难以训练 Reward Shaping(参考莫烦) 区别于真实环境中的reward,设计一些reward来引导agent 引入curiosity 最原始的形式:估计和实际的相差越大则reward越大(Network1...
2019-07-27 10:15:44
679
原创 李宏毅教授Policy Gradient课程笔记总结
Policy gradient: 求解梯度trick: ∇fx=f(x)∇logf(x) Tip1:将回报值的期望作为基线,使得每次计算的回报有正负区别 Tip2:不将整场游戏得到的reward作为权重,为每个动作分配应有的权重,权重即为从当前时间t开始所有reward的累加 改进:增加折扣 On-policy:所学习的agent和用于环境交互的agent是同一个...
2019-07-26 11:14:40
714
原创 李宏毅教授Imitation Learning课程笔记总结
Imitation Learning 又称demonstration/apprenticeship learning 用于解决没有reward的情况下的学习情况 多数情况下agent可以和环境进行互动,但无法从环境中得到明确的reward,或者无法决定如何确定reward Behavior cloning 和监督学习类似,通过直接学习一个使得si映射到ai的神经网络来实现 ...
2019-07-25 20:58:19
418
原创 李宏毅教授GAN课程笔记总结
GAN 参考文献: 受限玻尔兹曼机也是生成模型 自编码机: 所学得的NN Decoder可以将一个任意生成的向量生成为一张图片 VAE(Variational Auto-Encoder)变分自编码器: 为了不使σ 为0,因此加入限制: 目的是为了使得m越接近0越好,相当于L2的正则化,而前一项也越接近0越好 缺点:没有真正去模拟一张图片,无法达到和...
2019-07-25 20:51:34
919
原创 李宏毅教授Capsule课程笔记总结
Capsule 取代neuron neuron输出一个值,capsule输出一个向量 neuron只能检测某一特定的模式,capsule可以检测一类模式 其中向量v的每一维代表模式的一个特性 Squash相当于进行挤压,只会改变长度而不会改变方向 c1 和c2 不是学出来的,而是由测试阶段决定的 有点像排除离群点 训练的时候还是需要后向传播 NN是用...
2019-07-25 20:47:39
581
1
原创 李宏毅教授Batch Normalization课程笔记总结
Batch Normalization Feature Scaling/Feature Normalization/Feature Standardization 如果斜率差别大,那么不同方向上需要不同的learning rate,经过feature normalization后,error surface接近正圆形,使得训练更容易 计算过程: 在神经网...
2019-07-25 20:41:58
651
原创 李宏毅教授神经网络基础架构课程笔记总结
Basic Structure 预备知识: 神经网络相当于由简单函数(neurons)组成的函数集 Fully Connected Layer Recurrent Structure 反复利用同一个结构 相较于前馈网络,前馈网络的参数更多,会容易过拟合 深层RNN 双向RNN Pyramidal RNN 可以把seque...
2019-07-25 20:40:29
244
原创 李宏毅教授Attention课程笔记总结
Generation 可以用RNN生成文本、图片(grid lstm)、视频、手写字、语音 *grid lstm Conditional generation:不是随机产生,而是有情境地产生 应用:image caption/machine translation/chat-bot Encoder和Decoder的参数可以一样或者不一样,当参数一样时,参数比较少,比较不容...
2019-07-25 20:39:11
1619
1
原创 李宏毅教授A3C课程笔记总结
A3C (Asynchronous Advantage Actor-Critic) 远优于DQN Alpha go用到了model-based的方法 On-policy:学习的agent和与环境互动的agent是同一个 Off-policy:学习的agent和与环境互动的agent是不同的 注意学习的agent和交互的agent之间的差别不能太大 Actor:是一...
2019-07-25 20:36:57
804
原创 David Sliver强化学习课程第六讲笔记总结
扩充数据集用强化学习来解决实际问题 用建立函数逼近器的方法来估算一个函数值,并将其应用于所有的状态数据库中: 其中w为参数,w越小越能表示更多的情况,并使用MC或TD进行更新 这里我们使用可微逼近函数,可以通过梯度对其进行提升 用增量法形成梯度下降来达到增值函数逼近的效果: 每走一步,检验一下自己的误差,预期一下自己的预估价值范围,数据库告诉你本应该所处的范围,迅速地对自...
2019-07-25 20:34:43
287
原创 David Sliver强化学习课程第四讲笔记总结
无模型预测:在没有MDP过程的情况下求解,没有环境先验,直接从agent和环境的交互中学习,估计值函数并得到策略 蒙特卡洛学习:信息在到达轨迹的终点以后,仅根据所观察的样本来评估其价值。 差分学习:对前一步进行反馈评估 蒙特卡洛学习:可能不是最高效的,但是是最有效的方法,广泛应用于实践中 使用经验均值反馈来替代预期反馈 First-Visit:第一次访问时计数,依据大数定理不...
2019-07-25 20:33:23
223
原创 David Sliver强化学习课程第三讲笔记总结
DS-3 如何解决形式化后的MDP 动态:对于问题来说是序列的或时序的 规划:策略 动态规划:将复杂问题分解为子问题,将子问题的答案进行结合得到原问题的解 适用于: ①最优化结构:原问题可以分解为两个及以上的子问题,并通过对子问题的最优化求解来获得原问题的最优解——最短路径; ②重叠子问题:子问题是不断重复的,子问题可以被多次重复使用 MDP符合上述两个特征,另外贝尔曼方程是...
2019-07-25 20:30:26
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅