<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[StarCoder_WangYue的博客]]></title><description><![CDATA[求知若渴，虚怀若愚 --乔布斯]]></description><link>https://blog.youkuaiyun.com/StarCoder_WangYue</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; StarCoder_WangYue]]></copyright><item><title><![CDATA[《动手学深度学习》Task08：文本分类；数据增强；模型微调]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104499822</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104499822</guid><author>StarCoder_WangYue</author><pubDate>Tue, 25 Feb 2020 17:45:56 +0800</pubDate><description><![CDATA[Task08：文本分类；数据增强；模型微调
1.文本分类
文本情感分类
文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。
同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络，来判...]]></description><category></category></item><item><title><![CDATA[《动手学深度学习》Task07：优化算法进阶；word2vec；词嵌入进阶]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104494165</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104494165</guid><author>StarCoder_WangYue</author><pubDate>Tue, 25 Feb 2020 14:04:30 +0800</pubDate><description><![CDATA[Task07：优化算法进阶；word2vec；词嵌入进阶
1.优化算法进阶
Momentum
在 Section 11.4 中，我们提到，目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这...]]></description><category></category></item><item><title><![CDATA[《动手学深度学习》Task06 ：批量归一化和残差网络；凸优化；梯度下降]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104490354</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104490354</guid><author>StarCoder_WangYue</author><pubDate>Tue, 25 Feb 2020 10:23:28 +0800</pubDate><description><![CDATA[Task06 ：批量归一化和残差网络；凸优化；梯度下降
1.批量归一化（BatchNormalization）

对输入的标准化（浅层模型）

处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。
标准化处理输入数据使各个特征的分布相近

批量归一化（深度模型）的作用

利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。
1.对全连接...]]></description><category></category></item><item><title><![CDATA[《动手学深度学习》Task04 ：卷积神经网络基础；leNet；卷积神经网络进阶]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104377398</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104377398</guid><author>StarCoder_WangYue</author><pubDate>Tue, 18 Feb 2020 17:03:58 +0800</pubDate><description><![CDATA[Task04 ：卷积神经网络基础；leNet；卷积神经网络进阶
1.卷积神经网络基础
下面是一些卷积神经网络的基本概念：

二维互相关运算
二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该...]]></description><category></category></item><item><title><![CDATA[《动手学深度学习》Task04 ：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104367095</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104367095</guid><author>StarCoder_WangYue</author><pubDate>Tue, 18 Feb 2020 15:14:09 +0800</pubDate><description><![CDATA[Task04 ：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer
1.机器翻译及相关技术

机器翻译和数据集

机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。
步骤：
1.读取数据
2.数据预处理
3.分词：将字符串变成单词...]]></description><category></category></item><item><title><![CDATA[《动手学深度学习》Task03 ：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104365512</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104365512</guid><author>StarCoder_WangYue</author><pubDate>Mon, 17 Feb 2020 23:03:22 +0800</pubDate><description><![CDATA[Task03 ：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
1. 过拟合、欠拟合及其解决方案

训练误差和泛化误差

在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来...]]></description><category></category></item><item><title><![CDATA[《动手学深度学习》Task02  文本预处理；语言模型；循环神经网络基础]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104302807</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104302807</guid><author>StarCoder_WangYue</author><pubDate>Thu, 13 Feb 2020 22:14:20 +0800</pubDate><description><![CDATA[Task02：文本预处理；语言模型；循环神经网络基础


1.文本预处理


文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：
（1）读入文本
例：我们用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。
import collections
import re

def read...]]></description><category></category></item><item><title><![CDATA[《动手学深度学习》Task01线性回归；Softmax与分类模型、多层感知机]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104296727</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/104296727</guid><author>StarCoder_WangYue</author><pubDate>Thu, 13 Feb 2020 17:16:09 +0800</pubDate><description><![CDATA[首先感谢伯禹教育、Datawhale、和鲸科技和各位志愿者给我们的这个机会来组织大家一起学习，本次学习的内容是《动手学深度学习PyTorch版》。
Task01：线性回归；Softmax与分类模型、多层感知机
1.线性回归：
	** **线性回归的基本要素：**



模型：对于线性回归，我们需要确定其模型，我们初设为输出与各个输入之间是线性关系，确定了模型之后再来确定模型的参数。


数据集：我...]]></description><category></category></item><item><title><![CDATA[决策树优化及回归树]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/93079917</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/93079917</guid><author>StarCoder_WangYue</author><pubDate>Thu, 20 Jun 2019 18:53:03 +0800</pubDate><description><![CDATA[学习打卡内容：


	阅读《李航统计学习方法》的65-74页
	

	学习Gini指数
	

	学习回归树
	

	剪枝
	




前面任务八里面我们已经了解到策树以及决策树的几种算法如


	ID3算法
	
	
	C4.5算法
	
我们已经了解，在生成了决策树之后，可能发生过拟合现象，我们需要对已经生成的树自下而上进行剪枝，将树变得更简单，从而使它具有更好的泛化能力。具体来说，就是去掉过...]]></description><category></category></item><item><title><![CDATA[决策树算法]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/91125722</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/91125722</guid><author>StarCoder_WangYue</author><pubDate>Sat, 08 Jun 2019 17:18:45 +0800</pubDate><description><![CDATA[学习打卡内容：

理解决策树以及决策树的几种算法
	总结决策树模型结构
		理解决策树递归思想
		学习信息增益
		学习信息增益率
		学习ID3算法优缺点
		学习C4.5算法优缺点
		理解C4.5算法在ID3算法上有什么提升
		学习C4.5算法在连续值上的处理
		学习决策树如何生成
	
	代码实现决策树
	划分数据集代码
		选择最好的数据集划分方式代码
		
		创建树的函数代码
	...]]></description><category></category></item><item><title><![CDATA[Jupyter Notebook 快捷键（转）]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/91045027</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/91045027</guid><author>StarCoder_WangYue</author><pubDate>Thu, 06 Jun 2019 15:41:49 +0800</pubDate><description><![CDATA[Jupyter Notebook 快捷键

Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。

命令模式 (按键 Esc 开启)

Enter: 转入编辑模式
	Shift-Enter: 运行本单元，选中下个单元
	Ctrl-Enter: 运行本单元
	Alt-Ente...]]></description><category></category></item><item><title><![CDATA[决策树熵公式推导]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90770217</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90770217</guid><author>StarCoder_WangYue</author><pubDate>Wed, 05 Jun 2019 12:25:23 +0800</pubDate><description><![CDATA[学习打卡内容：

学习Datawhale对《李宏毅机器学习》决策树章节补充的内容：Additional References(熵的理解)
	个人需得推导其中的公式，对熵的概念理解透彻
	计算负责人提供的数据集的shangnonEnt




                         

2 熵

考虑另一个问题，对于某个事件，有nn种可...]]></description><category></category></item><item><title><![CDATA[逻辑回归基础]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90736524</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90736524</guid><author>StarCoder_WangYue</author><pubDate>Mon, 03 Jun 2019 17:46:49 +0800</pubDate><description><![CDATA[学习打卡内容：

观看李宏毅机器学习P9
	推导LR损失函数(1)
	学习LR梯度下降(2)
	利用代码描述梯度下降(3)
	Softmax原理(4)
softmax损失函数(5)
softmax梯度下降(6)


视频部分核心知识点：

















LR（LogisticRegression）损失函数与梯度下降公式推导：





梯度下降公式推导：



Soft...]]></description><category></category></item><item><title><![CDATA[贝叶斯公式、逻辑回归与线性回归]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90544598</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90544598</guid><author>StarCoder_WangYue</author><pubDate>Sat, 25 May 2019 19:04:13 +0800</pubDate><description><![CDATA[学习打卡内容：


	从基础概率推导贝叶斯公式，朴素贝叶斯公式
	
	
	先验概率与后验概率
	
	
	学习LR和linear regreeesion之间的区别
	
	
	推导sigmoid function公式
	


李宏毅机器学习P8部分截图

















一、贝叶斯以及朴素贝叶斯公式推导





二、先验概率与后验概率

先验概率是指根据以往经验和分析得到的概...]]></description><category></category></item><item><title><![CDATA[机器学习基础概念]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90213330</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90213330</guid><author>StarCoder_WangYue</author><pubDate>Fri, 17 May 2019 15:31:54 +0800</pubDate><description><![CDATA[任务目录：

理解偏差和方差
学习误差为什么是偏差和方差而产生的，并且推导数学公式
过拟合，欠拟合，分别对应bias和variance什么情况
学习鞍点，复习上次任务学习的全局最优和局部最优
解决办法有哪些
梯度下降
学习Mini-Batch与SGD
学习Batch与Mini-Batch，SGD梯度下降的区别
如何根据样本大小选择哪个梯度下降(批量梯度下降，Mini-Batch）
写出SGD和Mi...]]></description><category></category></item><item><title><![CDATA[机器学习入门之基础概念及线性回归]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90084857</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/90084857</guid><author>StarCoder_WangYue</author><pubDate>Mon, 13 May 2019 09:47:14 +0800</pubDate><description><![CDATA[任务目录

什么是Machine learning
学习中心极限定理，学习正态分布，学习最大似然估计
推导回归Loss function
学习损失函数与凸函数之间的关系
了解全局最优和局部最优
学习导数，泰勒展开
推导梯度下降公式
写出梯度下降的代码
学习L2-Norm，L1-Norm，L0-Norm
推导正则化公式
说明为什么用L1-Norm代替L0-Norm
学习为什么只对w/Θ做限制，不对b...]]></description><category></category></item><item><title><![CDATA[python基础任务六  打卡]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/89207310</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/89207310</guid><author>StarCoder_WangYue</author><pubDate>Thu, 11 Apr 2019 12:46:36 +0800</pubDate><description><![CDATA[任务六 时长：2天



啥是佩奇代码复现
参考链接：https://mp.weixin.qq.com/s/whtJOrlegpWzgisYJabxOg

        https://www.cnblogs.com/nowgood/p/turtle.html

python2.6版本中后引入的一个简单的绘图工具，叫做海龟绘图(Turtle Graphics),tur...]]></description><category></category></item><item><title><![CDATA[python基础任务五 打卡]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/89132398</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/89132398</guid><author>StarCoder_WangYue</author><pubDate>Tue, 09 Apr 2019 15:58:14 +0800</pubDate><description><![CDATA[任务五 时长：2天



1.file

a.打开文件方式（读写两种方式）

open() 方法

Python open() 方法用于打开一个文件，并返回文件对象，在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出 OSError。

注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法。

open() 函数常用形式是接收两个参数：文件名(f...]]></description><category></category></item><item><title><![CDATA[python基础任务四 打卡]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/89051987</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/89051987</guid><author>StarCoder_WangYue</author><pubDate>Sat, 06 Apr 2019 09:52:22 +0800</pubDate><description><![CDATA[任务四 时长：1天



1. 函数关键字

函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。

函数能提高应用的模块性，和代码的重复利用率。

函数代码块以def关键词开头，后接函数标识符名称和圆括号()。
	任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。
	函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。
	函数内容以冒号起始，并且缩...]]></description><category></category></item><item><title><![CDATA[python基础任务三  打卡]]></title><link>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/89040016</link><guid>https://blog.youkuaiyun.com/StarCoder_WangYue/article/details/89040016</guid><author>StarCoder_WangYue</author><pubDate>Fri, 05 Apr 2019 19:49:16 +0800</pubDate><description><![CDATA[任务三 时长：2天



1. dict字典

a. 定义

字典是另一种可变容器模型，且可存储任意类型对象。

字典的每个键值key=&gt;value对用冒号:分割，每个键值对之间用逗号,分割，整个字典包括在花括号{}中 ,格式如下所示：

b. 创建



访问字典元素就是字典名加方括号里面写要访问的键（key）



键一般是唯一的，如果重复最后的一个键值对会替换前面的，...]]></description><category></category></item></channel></rss>