<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[StarryPilgrim]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/m0_54546745</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; m0_54546745]]></copyright><item><title><![CDATA[Task2-自适应学习率+分类-Datawhale X 李宏毅苹果书 AI夏令营]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/141759839</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/141759839</guid><author>m0_54546745</author><pubDate>Sat, 31 Aug 2024 22:21:38 +0800</pubDate><description><![CDATA[这是我在Datawhale学习《机器学习详解》的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。对这节进行一个总结：我们不再用之前普通的Gradient Descent。而是用引入了Momentum，σitσit​和Learning rate scheduling的考虑了多方面的梯度下降。]]></description><category></category></item><item><title><![CDATA[Task1-局部极小值与鞍点+批量和动量-Datawhale X 李宏毅苹果书 AI夏令营]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/141536204</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/141536204</guid><author>m0_54546745</author><pubDate>Sun, 25 Aug 2024 22:16:39 +0800</pubDate><description><![CDATA[这是我在Datawhale学习《深度学习详解》的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。第一小节聚焦于最优化失败时的原因可能是遇到了critical point，介绍了Local minima和Saddle point以及它们的判别方法和在实际训练中出现的可能性。第二节讲了批次和动量，这两个都是我们在训练时需要的技巧，后面还需自己揣摩如何调参。]]></description><category></category></item><item><title><![CDATA[新版PC端三星笔记非GalaxyBook无法使用]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/132261430</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/132261430</guid><author>m0_54546745</author><pubDate>Sun, 13 Aug 2023 17:07:14 +0800</pubDate><description><![CDATA[点击更新微软商店后，发现新版的三星笔记只能是GalaxyBook才能使用，在尝试winget install “Samsung Notes”后还是只能下载最新的有限制版。]]></description><category></category></item><item><title><![CDATA[交大ACM算法-Task01-C++语法]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/124187338</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/124187338</guid><author>m0_54546745</author><pubDate>Mon, 18 Apr 2022 17:09:50 +0800</pubDate><description><![CDATA[这是我在Datawhale组队学习ACM中关于C++的部分知识整理，主要涉及循环结构，for循环。多重循环，计算循环次数。]]></description><category></category></item><item><title><![CDATA[Hello Transformer]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/120763522</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/120763522</guid><author>m0_54546745</author><pubDate>Sun, 17 Oct 2021 23:54:11 +0800</pubDate><description><![CDATA[文章目录前言背景Self-Attention简述模型结构概览模型输入EncoderDecoder模型输出模型构建实战案例

前言
这是我在Datawhale组队学习CV之Transformer的记录，既作为我学习过程中的笔记，也供同好们一起交流研究，之后还会继续更新相关内容的博客，欢迎点赞收藏关注。

背景
2017年谷歌在一篇名为《Attention Is All You Need》的论文中，提出了一个基于attention(自注意力机制)结构来处理序列相关的问题的模型，名为Transformer。
Tr]]></description><category></category></item><item><title><![CDATA[DW吃瓜笔记—Task01（下）—模型的评估与选择]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/120609147</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/120609147</guid><author>m0_54546745</author><pubDate>Tue, 05 Oct 2021 20:26:11 +0800</pubDate><description><![CDATA[文章目录前言误差与过拟合评估方法如何划分训练集与测试集留出法交叉验证法自助法调参

前言
这是我在Datawhale组队学习《机器学习》与《机器学习公式详解》的记录，既作为我学习过程中的笔记，也供同好们一起交流研究，之后还会继续更新相关内容的博客，欢迎点赞收藏关注。

误差与过拟合
我们将学习器对样本的实际预测结果与样本的真实值之间的差异定义为：误差（error）。
定义：

在训练集上的误差称为训练误差（training error）或经验误差（empirical error）。
在测试集上的误差称为测试]]></description><category></category></item><item><title><![CDATA[DW吃瓜笔记—Task01（上）—绪论]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/120297808</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/120297808</guid><author>m0_54546745</author><pubDate>Wed, 15 Sep 2021 00:09:18 +0800</pubDate><description><![CDATA[文章目录前言机器学习定义基本术语总结

前言
这是我在Datawhale组队学习《机器学习》与《机器学习公式详解》的记录，既作为我学习过程中的笔记，也供同好们一起交流研究，之后还会继续更新相关内容的博客，欢迎点赞收藏关注。

机器学习定义
我们根据过去的经验来判断明天的天气，吃货们希望根据之前购买经验挑选一个好瓜，那能不能让计算机帮助人类来实现这个呢？机器学习正是这样的一门学科，人的“经验”对应计算机中的“数据”，让计算机来学习这些经验数据，生成一个算法模型，在面对新的情况中，计算机便能作出有效的判断，这便]]></description><category></category></item><item><title><![CDATA[李宏毅机器学习-神经网络梳理]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/120144130</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/120144130</guid><author>m0_54546745</author><pubDate>Mon, 06 Sep 2021 23:12:32 +0800</pubDate><description><![CDATA[文章目录前言背景整体把握传播函数激活函数反向传播函数损失函数总结

前言
这是李宏毅机器学习系列的一个补充博客，对于课程中一些比较模糊的重点会再次进行梳理，起到一个修补的作用

背景
本篇背景是对于机器学习中的神经网络进行梳理，由于李宏毅老师在讲解过程中将神经网络进行了拆分，容易导致初学者对于神经网络不能整体把握，本篇则是作者根据课程和一些博客，对神经网络的进行一次整体梳理。
整体把握
神经网络最基本的模型是由4个函数组成的。它们分别是：
传播函数、激活函数、反向传播函数、损失函数
　　
它们分别实现了几个]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记—Task05（六）—卷积神经网络]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119994934</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119994934</guid><author>m0_54546745</author><pubDate>Tue, 31 Aug 2021 17:18:53 +0800</pubDate><description><![CDATA[文章目录前言为什么用CNN总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。


为什么用CNN
我们都知道CNN常常被用在影像处理上，如果你今天用CNN来做影像处理，当然也可以用一般的neural network来做影像处理，不一定要用CNN。比如说你想要做影像的分类，那么你就是training一个neural network,input一张图片，那么你就把这张图片表示成里面的pixel，也就是很长.]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记—Task05（五）—批次标准化（Batch Normalization）简介]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119987549</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119987549</guid><author>m0_54546745</author><pubDate>Mon, 30 Aug 2021 13:07:57 +0800</pubDate><description><![CDATA[文章目录前言Changing LandscapeFeature Normalization总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。

Changing Landscape
我们在解决问题时，一种的方向是不断改进我们的方法，第二种方向就是不断简化问题。同理，我们在训练时，不仅可以改进我们的训练方法，也可以对我们的Error Surface进行简化，变得简单易于训练。

上图中蓝色图像的成因就是x]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记—Task05（四）—略看分类问题]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119983561</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119983561</guid><author>m0_54546745</author><pubDate>Sun, 29 Aug 2021 23:05:02 +0800</pubDate><description><![CDATA[文章目录前言分类是怎么做的将分类转化为回归Softmax登场分类问题的Loss使用Cross-entropy的优点总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。

分类是怎么做的
将分类转化为回归

回归就是输入一组数据，输出一个数。
分类的话就是输入一组数据，输出一个类别。
而将回归转化成分类的话是通过输出的数字来判别类别。

通过回归来分类，这要求神经网络输出是一个向量。这个向量中的每一个元素代]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记--Task05（三）-自动调节学习速率（Learning Rate）]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119965929</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119965929</guid><author>m0_54546745</author><pubDate>Sun, 29 Aug 2021 17:26:13 +0800</pubDate><description><![CDATA[文章目录前言Training stuck不一定是Small Gradient单一固定的学习率遇到的问题总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。

Training stuck不一定是Small Gradient

如上图所示，Loss在不断下降最后不再下降，也就是说遇到了Training Stuck了，而这就是一定是遇到了Critical Point吗？再看norm of gradient（梯]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记--Task05（二）-批次与动量]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119957901</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119957901</guid><author>m0_54546745</author><pubDate>Sat, 28 Aug 2021 10:27:07 +0800</pubDate><description><![CDATA[文章目录前言回顾：批量操作为什么要用BatchBatch对training有什么帮助总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。

回顾：批量操作

在实际训练中，我们并不是将整个数据集去训练，而是将数据集分成很多份，也叫做batch，一份一份的进行梯度下降。
而将所有的batch都用过一遍就叫做 1 epoch。而数据集训练时要用多次也就是epoches，而在每次用数据集去训练前要先对数据集改.]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记--Task05（一）-局部最值与鞍点]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119883283</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119883283</guid><author>m0_54546745</author><pubDate>Fri, 27 Aug 2021 16:44:37 +0800</pubDate><description><![CDATA[文章目录前言最优化失败的原因如何区分局部最值和鞍点泰勒级数近似数学基础的补充判断方法总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。

最优化失败的原因

如图所示，在梯度下降中，Loss应该不断下降并达到一个最小值。但在我们训练中，有可能出现Loss下降到了一个谷底，但此时并没有足够小的情况，也有可能Loss就没怎么下降（对应图中蓝，橙曲线）。
出现这种情况的原因是下降中遇到了临界点（critica]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记--Task04（下）-反向传播]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119860148</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119860148</guid><author>m0_54546745</author><pubDate>Wed, 25 Aug 2021 12:56:12 +0800</pubDate><description><![CDATA[文章目录前言链式法则反向传播取出一个Neuron进行分析Forward Pass总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。

# 背景
## 梯度下降


给到 θ\thetaθ (weight and bias)
先选择一个初始的 θ0\theta^0θ0，计算 θ0\theta^0θ0 的损失函数（Loss Function）设一个参数的偏微分
计算完这个向量（vector）偏微分，然后就可]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记--Task04（上）-深度学习简介]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119851323</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119851323</guid><author>m0_54546745</author><pubDate>Sun, 22 Aug 2021 14:03:21 +0800</pubDate><description><![CDATA[文章目录前言深度学习的三个步骤Step1：神经网络完全连接前馈神经网络Step2: 模型评估Step3：选择最优函数思考隐藏层越多越好？普遍性定理总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。

#  深度学习的发展历程
回顾一下deep learning的历史：

1958: Perceptron （linear model）
1969: Perceptron has limitation
198]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记--Task03（下）-梯度下降]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119831490</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119831490</guid><author>m0_54546745</author><pubDate>Fri, 20 Aug 2021 22:51:14 +0800</pubDate><description><![CDATA[文章目录前言什么是梯度下降法？Tip1：调整学习速率小心翼翼地调整学习率自适应学习率Adagrad 算法Adagrad 是什么？Adagrad举例Adagrad 存在的矛盾？多参数下结论不一定成立Adagrad 进一步的解释Tip2：随机梯度下降法Tip3：特征缩放为什么要这样做？怎么做缩放？梯度下降的理论基础问题数学理论泰勒展开式定义多变量泰勒展开式利用泰勒展开式简化梯度下降的限制总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记--Task03（上）-误差从哪来]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119804319</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119804319</guid><author>m0_54546745</author><pubDate>Thu, 19 Aug 2021 17:31:45 +0800</pubDate><description><![CDATA[文章目录前言Error的来源估测估测变量x的偏差和方差评估x的偏差与方差求x的偏差求x的方差为什么会有很多的模型？考虑不同模型的方差考虑不同模型的偏差偏差v.s.方差怎么判断？分析偏差大--&gt;欠拟合方差大--&gt;过拟合模型选择交叉验证N-折交叉验证总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，此后还会继续更新相关内容的博客。

Error的来源

从上节课测试集数据来看，Average&nbsp;ErrorAverage]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记--Task02-回归]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119767884</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119767884</guid><author>m0_54546745</author><pubDate>Wed, 18 Aug 2021 09:15:54 +0800</pubDate><description><![CDATA[文章目录前言一、回归定义二、模型步骤Step 1：模型假设 - 线性模型一元线性模型（单个特征）多元线性模型（多个特征）Step 2：模型评估 - 损失函数如何判断众多模型的好坏Step 3：最佳模型 - 梯度下降梯度下降推演最优模型的过程梯度下降算法在现实世界中面临的挑战w和b偏微分的计算方法如何验证训练好的模型的好坏总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，此后还会继续更新相关内容的博客。
一、回归定义
回归（Regres]]></description><category></category></item><item><title><![CDATA[DW李宏毅机器学习笔记--Task01-机器学习介绍]]></title><link>https://blog.youkuaiyun.com/m0_54546745/article/details/119730690</link><guid>https://blog.youkuaiyun.com/m0_54546745/article/details/119730690</guid><author>m0_54546745</author><pubDate>Mon, 16 Aug 2021 16:45:37 +0800</pubDate><description><![CDATA[文章目录前言一、机器学习介绍1.人工智能、机器学习、深度学习之间的关系2.Hand-crafted rules与Machine learning3.机器学习的思路二、机器学习相关的技术1.监督学习A.回归（Regression）问题分类（Classification）问题Deep Learning2.半监督学习迁移学习无监督学习监督学习中的结构化学习（structured learning）强化学习总结

前言
这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们]]></description><category></category></item></channel></rss>