<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[CarryLvan的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/CarryLvan</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; CarryLvan]]></copyright><item><title><![CDATA[深度推荐系统入门]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/114904780</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/114904780</guid><author>CarryLvan</author><pubDate>Tue, 16 Mar 2021 22:52:55 +0800</pubDate><description><![CDATA[深度推荐系统入门1.DeepCrossing
最近参加了datawhale组织的用深度学习来做推荐系统的学习，主要学习一些经典的模型，本文以此记录一下这个过程学习的一些心得。
学习地址：https://github.com/datawhalechina/team-learning-rs/tree/master/DeepRecommendationModel
1.DeepCrossing
DeepCrossing模型中加入了embedding和残差等结构，其中embedding在深度推荐系统中是比较常见的，其]]></description><category></category></item><item><title><![CDATA[集成模型(4)lightGBM主要原理及其python实现]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/111400436</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/111400436</guid><author>CarryLvan</author><pubDate>Sun, 20 Dec 2020 10:58:25 +0800</pubDate><description><![CDATA[lightGBM主要原理及其python实现1主要原理1.1GOSS，基于梯度的单边采样1.2EFB，互斥特征绑定1.3Leaf-wise的决策树生长策略1.4类别特征的处理2总结3.python实现
前言：lightGBM主要流程和XgBoost比较相似，都是GBDT的一种改进，相对于XgBoost而言lightGBM则解决了大样本高纬度环境下耗时的问题。以及本文的实现代码主要用于算法核心的理解，文中不对的的地方也欢迎指正。
1主要原理
如前面所说，lightGBM在目标函数的优化上面和XgBoost的一]]></description><category></category></item><item><title><![CDATA[集成模型(3)XgBoost主要原理及其python实现]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/111370801</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/111370801</guid><author>CarryLvan</author><pubDate>Fri, 18 Dec 2020 17:27:51 +0800</pubDate><description><![CDATA[XgBoost主要原理及其python实现1基本思想1.1目标函数的优化推导1.2内部节点分裂2.总结3.python实现3.1基学习器的实现3.2XgBoost回归器的实现3.3XgBoost分类器的实现
前言：本文的实现代码主要用于算法理解，以及文中有错误的地方欢迎指出。
1基本思想
首先XgBoost也是一种提升树模型，相对于传统的GBDT做出了一些优化。在传统的GBDT中，当我们训练第t轮的模型时，我们是去拟合前t-1轮模型在数据集上的残差，以此来让我们的强学习器的预测值更加接近真实值。对于XgBo]]></description><category></category></item><item><title><![CDATA[集成模型(2)GBDT用于分类和回归及其python实现]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/110562049</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/110562049</guid><author>CarryLvan</author><pubDate>Thu, 03 Dec 2020 20:14:47 +0800</pubDate><description><![CDATA[GBDT用于分类和回归及其python实现1.GBDT回归1.1基本思想1.2算法流程：2.GBDT二分类2.1基本思想2.2算法流程2.3python实现2.3.1回归树2.3.2GBDT实现
adaboost用于分类的时候其实是模型为加法模型，损失函数为指数损失函数的算法，用于回归的时候是是损失函数为平方误差的损失函数，但是当损失函数为一般损失函数的时候，优化会变得比较复杂，例如我们分类使用对数损失函数，那么前面我们求解基函数权值和样本更新权值的过程就会变得比较复杂，这时候提出了一种新的解决方案——GB]]></description><category></category></item><item><title><![CDATA[集成学习(1)AdaBoost分别应用于分类和回归及其python实现]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/110489681</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/110489681</guid><author>CarryLvan</author><pubDate>Thu, 03 Dec 2020 14:47:26 +0800</pubDate><description><![CDATA[AdaBoost分别应用于分类和回归及其python实现1.AdaBoost分类的基本思路1.1Boosting基本思路1.2AdaBoost分类的基本思路1.3AdaBoost的算法步骤1.4AdaBoost算法的解释
前言：近期在做比赛的时候建模阶段普遍都是使用集成模型效果更好，如xgboost、lgb、catboost等，但是对其中原理并不了解，所以准备从adaboost开始慢慢学习这一系列的集成模型…
1.AdaBoost分类的基本思路
集成模型主要有bagging和boosting两种，这里都是b]]></description><category></category></item><item><title><![CDATA[朴素贝叶斯NaiveBayes以及python实现]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/109236906</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/109236906</guid><author>CarryLvan</author><pubDate>Mon, 26 Oct 2020 21:05:28 +0800</pubDate><description><![CDATA[朴素贝叶斯NaiveBayes以及python实现

]]></description><category></category></item><item><title><![CDATA[极大似然估计及其应用]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/109208151</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/109208151</guid><author>CarryLvan</author><pubDate>Fri, 23 Oct 2020 09:57:23 +0800</pubDate><description><![CDATA[极大似然估计及其应用欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
欢迎使用Markdown编辑器
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar]]></description><category></category></item><item><title><![CDATA[特征工程之特征分箱（决策树分箱、卡方分箱、bestks以及评价标准WOE和IV)]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/108775507</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/108775507</guid><author>CarryLvan</author><pubDate>Sun, 27 Sep 2020 20:57:16 +0800</pubDate><description><![CDATA[特征工程之特征分箱：决策树分箱、卡方分箱、bestks以及评价标准

]]></description><category></category></item><item><title><![CDATA[机器学习决策树DecisionTree以及python代码实现]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/108476540</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/108476540</guid><author>CarryLvan</author><pubDate>Thu, 10 Sep 2020 17:44:37 +0800</pubDate><description><![CDATA[机器学习决策树DecisionTree标题
本文参考西瓜书以及mooc上面的视频…
标题

]]></description><category></category></item><item><title><![CDATA[python数据分析及特征工程（实战）]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/106797353</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/106797353</guid><author>CarryLvan</author><pubDate>Thu, 18 Jun 2020 14:15:11 +0800</pubDate><description><![CDATA[python数据分析及特征工程（实战）1.数据分析1.1单属性分析1.2多属性分析2.特征工程2.1 数据清洗2.2 特征选择2.3 特征构造2.4 特征降维
1.数据分析
1.1单属性分析
1.2多属性分析
2.特征工程
2.1 数据清洗
2.2 特征选择
2.3 特征构造
2.4 特征降维

...]]></description><category></category></item><item><title><![CDATA[keras学习率余弦退火CosineAnnealing]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/104394960</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/104394960</guid><author>CarryLvan</author><pubDate>Thu, 20 Feb 2020 17:36:51 +0800</pubDate><description><![CDATA[keras学习率余弦退火CosineAnnealing1.引言2.余弦退火的原理2.keras实现
1.引言
当我们使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率应该变得更小来使得模型不会超调且尽可能接近这一点，而余弦退火（Cosine annealing）可以通过余弦函数来降低学习率。余弦函数中随着x的增加余弦值首先缓慢下降，然后加速下降，再次缓慢下降。这种下...]]></description><category></category></item><item><title><![CDATA[EfficientNet论文笔记及源码]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/104215381</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/104215381</guid><author>CarryLvan</author><pubDate>Mon, 10 Feb 2020 15:31:47 +0800</pubDate><description><![CDATA[EfficientNet笔记1.EfficientNet论文解读2.keras实现代码
前面在做关于图片分类的项目时，在github上面发现了有的项目用的efficientnet网络结构的效果比较好，网上相关资料较少，找到了论文看一下，顺便记录一下。
论文链接：https://arxiv.org/abs/1905.11946
1.EfficientNet论文解读
说是解读肯定谈不上，只是一些个人的...]]></description><category></category></item><item><title><![CDATA[keras通过model.fit_generator训练模型（节省内存）]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/103837093</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/103837093</guid><author>CarryLvan</author><pubDate>Sat, 04 Jan 2020 22:40:33 +0800</pubDate><description><![CDATA[keras通过model.fit_generator训练模型（节省内存）1.fit_generator函数简介2.generator实现2.1生成器的实现方式2.2使用Sequence实现generator
前言
前段时间在训练模型的时候，发现当训练集的数量过大，并且输入的图片维度过大时，很容易就超内存了，举个简单例子，如果我们有20000个样本，输入图片的维度是224x224x3，用float3...]]></description><category></category></item><item><title><![CDATA[在Google Colab上面进行深度学习的模型训练]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/103727636</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/103727636</guid><author>CarryLvan</author><pubDate>Fri, 27 Dec 2019 13:53:03 +0800</pubDate><description><![CDATA[在Google Colab上面进行深度学习的模型训练1.使用步骤1.1准备工作
先简单介绍介绍一下，google colab为我们提供了免费的GPU，感觉类似于服务器之类的，对于学生党来说还是不错的选择的。
步入正题，在我们使用colab之前，得先能够“科学上网”才行，毕竟国内是没办法直接访问google的。
1.使用步骤
1.1准备工作
（1）登录账号进入谷歌云盘，点击新建文件夹，文件夹名称随便...]]></description><category></category></item><item><title><![CDATA[分别基于Tensorflow和Keras加载预训练模型实现迁移学习]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/103704451</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/103704451</guid><author>CarryLvan</author><pubDate>Thu, 26 Dec 2019 22:20:34 +0800</pubDate><description><![CDATA[分别基于Tensorflow和Keras加载预训练模型实现迁移学习1.什么迁移学习和预训练模型？2.实现迁移学习的方法及使用场景3.python代码实现3.1特征提取3.1.1基于keras实现3.1.2基于tensorflow实现3.2训练特定层，冻结其它层3.2.1基于keras的实现
1.什么迁移学习和预训练模型？
迁移学习（Tranfer Learning）：神经网络可以从一个任务中习得知...]]></description><category></category></item><item><title><![CDATA[基于tensorflow的手写数字体识别]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/103693489</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/103693489</guid><author>CarryLvan</author><pubDate>Wed, 25 Dec 2019 14:27:48 +0800</pubDate><description><![CDATA[基于tensorflow的手写数字体识别1.mnist数据集准备以及选取网络结构
1.mnist数据集准备以及选取网络结构
（1）准备数据集

tensorflow社区mnist数据集下载：
MNIST 数据下载
点击上面的链接找到如图所示的位置，点击进行下载：

百度网盘链接下载：
(https://pan.baidu.com/s/1gKX9kKtducGvI5DeZKOkog) 提取码：av3...]]></description><category></category></item><item><title><![CDATA[在tensorflow中使用batch normalization及其原理]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/103596614</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/103596614</guid><author>CarryLvan</author><pubDate>Wed, 18 Dec 2019 16:12:08 +0800</pubDate><description><![CDATA[在tensorflow中使用batch normalization1.batch normalization的原理2.tf.nn.moments3.tf.train.ExponentialMovingAverage4.tf.control_dependencies5.tf.identity6.tf.cond
最近看到了一段关于在tensorflow中如何使用batch normalization的...]]></description><category></category></item><item><title><![CDATA[tf.nn.moments( )函数中参数的理解]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/103585913</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/103585913</guid><author>CarryLvan</author><pubDate>Tue, 17 Dec 2019 20:25:01 +0800</pubDate><description><![CDATA[tf.nn.moments函数中参数的理解1.对axes参数的理解1.1当输入的维度=[3,3]，axes=[0]时1.1当输入的维度=[2,2,2,3]，axes=[0,1,2]时2.补充
最近在看batchnorm函数的时候，看到了tf.nn.moments( )函数，查看了相关文章，有了一些理解，主要是是对axes参数的理解。
首先看到函数的定义：
def moments(
    x,
 ...]]></description><category></category></item><item><title><![CDATA[对mini-batch梯度下降算法的理解以及代码实现]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/103520135</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/103520135</guid><author>CarryLvan</author><pubDate>Fri, 13 Dec 2019 14:47:40 +0800</pubDate><description><![CDATA[对mini-batch梯度下降算法的理解以及代码实现1.什么是mini-batch梯度下降
1.什么是mini-batch梯度下降
首先我们知道原始梯度下降算法是在整个训练集上进行的，把整个训练集作为数据传入，求解代价和梯度。但是我们在深度学习项目中很多时候数据集是非常庞大的，当我们把整个数据集传入矩阵进行运算的时候速度会很慢，并且对内存的要求也比较高。
**mini-batch梯度下降（MBGD...]]></description><category></category></item><item><title><![CDATA[反向传播算法的推导过程]]></title><link>https://blog.youkuaiyun.com/CarryLvan/article/details/103120782</link><guid>https://blog.youkuaiyun.com/CarryLvan/article/details/103120782</guid><author>CarryLvan</author><pubDate>Tue, 19 Nov 2019 15:43:46 +0800</pubDate><description><![CDATA[反向传播算法的推导过程
首先先看到神经网络的模型例子：

我们知道在用梯度下降算法最小化代价函数的过程中，我们更新权重参数需要求代价函数关于其的偏导，而我们的反向传播算法的作用就是用于求其偏导数。
给定训练集D=｛(x1,y1),(x2,y2),...,(xm,ym)｝D=｛(x_1,y_1),(x_2,y_2), ...,(x_m,y_m)｝D=｛(x1​,y1​),(x2​,y2​),...,...]]></description><category></category></item></channel></rss>