fan1102958151的博客

汁源整理：1.paddlepaddle：七日打卡营2.B站教程：GNN图神经网络相关讲座，cs224，图论因为第一次接触凸轮图论这块的理论知识，为避免出错。课程笔记还需要整理完善，防止发出来的东西是错误的。心得体会：这次的课程也很棒，但是可能是自己基础太薄弱，感觉跟得比较吃力。虽然基本上完成了作业，但是还是一知半解。立一个flag年前冲完前面的这些教程，好好重温一代码，再完成笔记总结。...

Pyramid Scene Parsing Network(PSPnet)Unet增强感受野的方法是将不同感受野的特征图进行concat,而PSPnet的思路是使用不同大小的卷积核来卷积,产生不同的感受野.ReceptiveFieldPyramid Pooling ModuleDilated Conv由于引入了较大的卷积核,导致网络的计算量成平方倍增加,为解决运算量的问题,我们将卷积核替换为带洞卷积其中可能需要大量使用到Adaptive pool和1x1 Conv来改变特征图

Fully Convolutional Networks(FCN)什么是FCN? 就是全卷积网络没有全连接层(FC).如何做语义分割? 语义分割像素级分类和图像分类有什么关系? 替换FC为Conv1x1 Conv在通道维度("C")上进行改变,即在通道上降维或升维.Upsample目的:将H和W收缩后的特征图恢复为与输入图像尺寸相同的大小.Up-samplingUn-poolin...

基础概念语义分割分割算法的核心:像素级分类语义分割算法基本流程输入:图像(RGB) 算法:深度学习模型 输出:分类结果(与输入大小一致的单通道图) 训练过程: 输入: image + label 前向: out = model(image) 计算损失: loss = loss_func(out,label) 反向: loss.backward() 更新权重:optimizer.minimize(loss) 评价指标mAc...

离散空间和连续空间之前我们做出的决策都是基于离散状态的，简单来说是类似于在做“选择题”。而连续的动作，我们输出的将不是某个动作，而是更加细致的动作的程度，类比深度学习的分类任务与回归任务。当然，具体选何种模型可以根据具体情况灵活选择，有时离散动作和连续动作之间是可以灵活转换的。选择回归模型，那么意味着输出动作种类是无限多的，因此为了减少不确定性，使用连续动作输出的模型时，使用的是确定性策略，即同样的输入会得到同样的输出，而随即策略是有一定的概率得到不同的输出结果的。用于连续动作输出的值我

基于值与基于决策在强化学习中，有两大类方法，一种基于值（Value-based），一种基于策略（Policy-based）Value-based的算法的典型代表为Q-learning和SARSA，将Q函数优化到最优，再根据Q函数取最优策略。 Policy-based的算法的典型代表为Policy Gradient，直接优化策略函数。两者的区别一目了然，即一种是根据价值以确定的方案去决策，另一种直接一步到位得出决策的结果，而不是依次计算每个状态的奖励后去逐步做决策的。随机策略在

背景简介在现实场景中有很多情况，我们无法简单的抽象为一些离散的状态（或者离散后状态过多），导致我们没有办法使用基于表格的方法，那么此时我们就应该引入深度学习的方法来帮我们感知状态，充当Q函数来求此状态下各Action的Q。值函数就是Q函数,Q表格的作用就是可以根据输入状态的动作来查表并输出Q值表格方法的缺点:表格可能占用极大内存 当表格极大时，查表效率低下那么实际上,我们就可以用带参数的Q函数来近似Q表格,比如可以用多项式函数或者神经网络使用值函数近似的优点:仅需存储有限的参数 状

SarsaSarsa全称是state-action-reward-state'-action'，目的是学习特定的state下，特定action的价值Q，最终建立和优化一个Q表格，以state为行，action为列，根据与环境交互得到的reward来更新Q表格，更新公式为： Sarsa在训练中为了更好的探索环境，采用ε-greedy方式来训练，有一定概率随机选择动作输出。Q-learningQ-learning也是采用Q表格的方式存储Q值（状态动作价值），决策部分与Sarsa是一...

强化学习简介定义：强化学习（英语：Reinforcement learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。核心思想：智能体agent在环境environment中学习，根据环境的状态state（或观测到的observation），执行动作action，并根据环境的反馈 reward（奖励）来指导更好的动作。简单归结为下图： 注意：从环境中获取的状态，有时候叫s...

接触深度学习才满一年半，这一年半中进度缓慢，处处碰壁，直到我发现了paddle，下面从一个ai初学者和学生党角度分享一下我的感受。初学AI的痛点没有好的实验环境，无论是传统机器学习或者深度学习，对硬件都是有一定要求的。作为一个搬砖研究生，自己没钱买好的设备，实验室条件也有限，基本上学ai就是在纸上谈兵，唯一跑过的demo就是手写数字识别。然而，入门的同学都知道机器学习尤其是深度学习是需要实践...