<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[li8zi8fa的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/li8zi8fa</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; li8zi8fa]]></copyright><item><title><![CDATA[关于 LambdaMART 的六个疑惑]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/107533556</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/107533556</guid><author>li8zi8fa</author><pubDate>Sat, 25 Jul 2020 20:17:47 +0800</pubDate><description><![CDATA[目录

前言

LAMBDAMART的由来

LAMBDAMART的原理

要点

总结

前言

工作的关系，最近接触到lambdamart算法，通过查资料、学习、读代码，对该算法有了一定程度的理解，因此以笔记的形式记录在这里。一家之言，结论不一定可靠，欢迎网友留言讨论。

LAMBDAMART的由来

LAMBDAMART的原理

要点

总结
...]]></description><category></category></item><item><title><![CDATA[Ubuntu16.04下面安装mysqldb]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/79015496</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/79015496</guid><author>li8zi8fa</author><pubDate>Tue, 09 Jan 2018 17:39:56 +0800</pubDate><description><![CDATA[pip install mysql-python
若报错:

1. sudo apt-get install libmysqlclient-dev

2. pip install mysql-python]]></description><category></category></item><item><title><![CDATA[使用GPU跑程序]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/78984756</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/78984756</guid><author>li8zi8fa</author><pubDate>Fri, 05 Jan 2018 20:03:02 +0800</pubDate><description><![CDATA[查看机器上GPU情况

命令： nvidia-smi

功能：显示机器上gpu的情况

命令： nvidia-smi -l

功能：定时更新显示机器上gpu的情况

命令：watch -n 3 nvidia-smi

功能：设定刷新时间（秒）显示GPU使用情况



其中左上侧有0、1、2、3的编号，表示GPU的编号，在后面指定GPU时需要使用这个编号。

在终]]></description><category></category></item><item><title><![CDATA[Ubuntu下rm指令重定向]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/78826380</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/78826380</guid><author>li8zi8fa</author><pubDate>Sun, 17 Dec 2017 17:45:47 +0800</pubDate><description><![CDATA[1、Install trash-cli

sudo apt-get install trash-cli
2、Set up the script


sudo gedit /usr/local/bin/trash-rm

copy

#!/bin/bash
# command name: trash-rm
shopt -s extglob
recursive=1
declare ]]></description><category></category></item><item><title><![CDATA[27 个Jupyter Notebook的小提示与技巧]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/78315847</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/78315847</guid><author>li8zi8fa</author><pubDate>Mon, 23 Oct 2017 10:02:09 +0800</pubDate><description><![CDATA[27
 个Jupyter Notebook的小提示与技巧



Jupyter notebook, 前身是 IPython notebook, 它是一个非常灵活的工具，有助于帮助你构建很多可读的分析，你可以在里面同时保留代码，图片，评论，公式和绘制的图像。

Jupyter具有非常强的可扩展性，支持很多编程语言，并且易于部署到你的个人电脑和几乎所有的服务器上 -- 你只需要使用ssh]]></description><category></category></item><item><title><![CDATA[为什么L1稀疏L2平滑？]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/77649973</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/77649973</guid><author>li8zi8fa</author><pubDate>Mon, 28 Aug 2017 16:06:22 +0800</pubDate><description><![CDATA[两种解释————————————
1、从L1和L2的来源看


当你想从一个手头的数据集中学习出一套规则时，贝叶斯学派认为仅仅使用这些数据是不够的，还需要加入先验知识。如果你在损失函数中使用了L1正则项，那么其实质就是加入了拉普拉斯先验分布，即认为数据是符合拉普拉斯分布的；如果你使用了L2正则项，那么就是加入了高斯先验分布，即认为数据是符合高斯分布的。一般由于推导和计算方便，会对分布函数取]]></description><category></category></item><item><title><![CDATA[机器学习笔记——无监督学习]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/77568109</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/77568109</guid><author>li8zi8fa</author><pubDate>Fri, 25 Aug 2017 16:16:52 +0800</pubDate><description><![CDATA[1、有啥用？

2、聚类
（1）K-Means

（2）HAC-分层聚类

2、降维
（1）PCA
















PCA的另一种解释






与SVD的关系

与自动编码的关系

PCA的缺点

SVD

学习

预测

SVD升级版本

SVD的应用

其他相关技术]]></description><category></category></item><item><title><![CDATA[机器学习笔记——半监督学习]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/77555504</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/77555504</guid><author>li8zi8fa</author><pubDate>Fri, 25 Aug 2017 10:01:27 +0800</pubDate><description><![CDATA[1、简介

2、半监督生成模型

具体的


为什么呢

3、低密度分割

例1


例2


例3

4、平滑假设

实际应用例子

实现方法1

实现方法2

5、寻找更好的表达]]></description><category></category></item><item><title><![CDATA[机器学习笔记——集成学习]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/77540393</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/77540393</guid><author>li8zi8fa</author><pubDate>Thu, 24 Aug 2017 19:50:38 +0800</pubDate><description><![CDATA[1、什么时候用集成学习？
集成学习有利于减少模型方差，因此当模型复杂度复杂度太高时可以用集成学习方法
参加kaggle等比赛的时候
2、bagging和boosting的基学习器有一样的特点？
bagging的基学习器更强一些，它们学习的对象都是目标任务，最终的预测模型是直接拿子模型的决策结果投票或者做平均；boosting的基学习器更弱一些，可以说是非常弱，它们学习的都只是目标任务的一部]]></description><category></category></item><item><title><![CDATA[深度学习笔记——why “deep”？]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/77460438</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/77460438</guid><author>li8zi8fa</author><pubDate>Mon, 21 Aug 2017 20:59:11 +0800</pubDate><description><![CDATA[1、多层的学习效果往往比单层要好，即便参数的个数一样



2、在用C语言进行结构化编程时，我们从来不会把大量的功能写到一个函数里面，而是写很多函数同过函数调用实现目标。神经网络也类似，一个层可以看做一个函数实现了一个功能，多层结构更清晰，功能也更强大。


3、如下图所示，如果只有一层的话就很难识别长头发男生，因为其样本太少


增加一层实现识别性别的功能，在此基础上进一步区]]></description><category></category></item><item><title><![CDATA[深度学习笔记——CNN]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/77427133</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/77427133</guid><author>li8zi8fa</author><pubDate>Sun, 20 Aug 2017 10:46:55 +0800</pubDate><description><![CDATA[1、为什么需要CNN（卷积神经网络）？
CNN其实是一种比FNN（全连接神经网络）要简单的网络结构，也就是说CNN的参数要比FNN少很多。那么，为什么需要这种网络结构呢？假如我们现在要识别一张图片中的一只飞鸟，FNN采用整体策略，把一整只鸟当做目标pattern去识别。CNN呢？CNN在一开始学习的时候就把鸟这个大的目标pattern分成很多小pattern，比如嘴、翅膀、脖子、爪子等，甚至更小]]></description><category></category></item><item><title><![CDATA[深度学习笔记——深度学习技巧]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/77413340</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/77413340</guid><author>li8zi8fa</author><pubDate>Sat, 19 Aug 2017 16:02:46 +0800</pubDate><description><![CDATA[1、模型在训练数据上表现不好，why？
（1）过拟合
（2）激活函数
（3）学习率
2、梯度消失？
盲目增加网络层数很容易导致发生梯度消失现象，尤其是使用sigmoid作为激活函数的时候。sigmoid函数的特点使得权重很大的改变对输出产生很小的影响，当层数很多时这种影响甚至可以忽略不计。在权重更新环节，靠近输出端的权重梯度较大，靠近输入端的权重梯度很小，这使得后端权重更新的很快、很快就]]></description><category></category></item><item><title><![CDATA[机器学习笔记——逻辑回归]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/77386812</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/77386812</guid><author>li8zi8fa</author><pubDate>Fri, 18 Aug 2017 19:35:22 +0800</pubDate><description><![CDATA[决策函数：sigmoid


损失函数：cross-entropy





为什么不用平方误差做损失函数？


因为我们希望接近最优解的地方梯度小，而远离最优解的地方梯度大。从下图可以看出来，平方误差不满足我们的要求。平方误差在这里不好用是因为sigmoid的导数有一个f项，线性回归使用平方误差就没有这个问题。












逻辑回归的]]></description><category></category></item><item><title><![CDATA[机器学习笔记——概率生成模型]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/77372260</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/77372260</guid><author>li8zi8fa</author><pubDate>Fri, 18 Aug 2017 16:44:03 +0800</pubDate><description><![CDATA[假设有两类数据，每一类都有若干个样本；概率生成模型认为每一类数据都服从某一种分布，如高斯分布；从两类训练数据中得到两个高斯分布的密度函数，具体的是获得均值和方差两个参数；测试样本输入到其中一个高斯分布函数，得到的概率值若大于0.5，则说明该样本属于该类，否则属于另一类。
    算法的核心在于获取分布函数的两个参数。具体的做法是：利用训练数据，构造似然函数，使得该似然函数最大的参数即为所求。事实]]></description><category></category></item><item><title><![CDATA[最大似然估计，高斯分布，高斯混合模型，EM算法]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/76999747</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/76999747</guid><author>li8zi8fa</author><pubDate>Wed, 09 Aug 2017 16:18:22 +0800</pubDate><description><![CDATA[1、最大似然估计
似然的概念与概率类似，但是又很不相同。假如随机变量X服从某种分布（比如高斯分布），概率是指在给定参数（均值，方差）的条件下，X=x的可能性；而似然则指X=x的条件下，某一组参数反映了X=x的真实性大小。
最常见的应用是最大似然估计。假设有N个数据点，服从某种分布Pr(x;θ)，我们想找到一组参数θ，使得生成这些数据点的概率最大，这个概率就是


称为似然函数（Lilel]]></description><category></category></item><item><title><![CDATA[深入理解朴素贝叶斯（Naive Bayes）]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/76176597</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/76176597</guid><author>li8zi8fa</author><pubDate>Thu, 27 Jul 2017 10:48:51 +0800</pubDate><description><![CDATA[朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。该算法虽然简单，但是由于笔者不常用，总是看过即忘，这是写这篇博文的初衷。当然，更大的动力来在于跟大家交流，有论述不妥的地方欢迎指正。
]]></description><category></category></item><item><title><![CDATA[推荐引擎—概述]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/76127325</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/76127325</guid><author>li8zi8fa</author><pubDate>Wed, 26 Jul 2017 10:37:50 +0800</pubDate><description><![CDATA[最近在看推荐系统相关的资料，发现一篇很棒的概述文章，于是整理出了这篇个人笔记【转载、引用请注明出处】。原文在这里：推荐引擎初探
1、概念：相对于“搜索引擎”而存在的另外一种信息发现技术。搜索引擎，用户借助于网络通过输入关键词获取自己感兴趣的信息。但是，诚如乔布斯所言，大多数用户并不知道自己想要什么，直到你把它摆在他或她的面前，于是推荐引擎就产生了。这当然是优雅的说法，推荐引擎的产生原因还包括信息]]></description><category></category></item><item><title><![CDATA[SVM松弛变量解读]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/76057830</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/76057830</guid><author>li8zi8fa</author><pubDate>Tue, 25 Jul 2017 10:40:04 +0800</pubDate><description><![CDATA[1.松弛变量反映了SVM模型对野点的容忍程度，只有野点有对应的松弛变量。也就是说，软间隔的SVM允许部分样本点分类错误来换取模型更强的泛化能力。






2.松弛变量本质是个变量，而且不能小于0。软间隔SVM为其配备了惩罚参数C。C越大意味着松弛变量要越小，对野点容忍度更低；C越小则模型允许更多的野点分类错误。






3.SVM处理非线性可分问题除了引入松弛变]]></description><category></category></item><item><title><![CDATA[范数-简介]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/75892523</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/75892523</guid><author>li8zi8fa</author><pubDate>Sun, 23 Jul 2017 11:14:38 +0800</pubDate><description><![CDATA[1.定义


L0范式||W||0：向量中非0元素的个数
L1范式||W||1：向量中各元素绝对值之和L2范式||W||2：向量中各元素平方之和
2.解读

（1）L0和L1可以实现模型稀疏，好处是：


特征选择，简化模型增加模型解释性
（2）L0和L1在一定条件下效果等价，但是L1更常用，因为：


L0是不好求解（NP难问题）L1是L0的最优凸近似，相对容易求解]]></description><category></category></item><item><title><![CDATA[Linux下便捷安装 Pytorch命令指南]]></title><link>https://blog.youkuaiyun.com/li8zi8fa/article/details/75452000</link><guid>https://blog.youkuaiyun.com/li8zi8fa/article/details/75452000</guid><author>li8zi8fa</author><pubDate>Wed, 19 Jul 2017 21:41:30 +0800</pubDate><description><![CDATA[1.pip install http://download.pytorch.org/whl/cu75/torch-0.1.12.post2-cp27-none-linux_x86_64.whl 
2.pip install torchvision]]></description><category></category></item></channel></rss>