<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[大胃德的算法小屋]]></title><description><![CDATA[最富有的人和最贫穷的人都平等享有每天的24小时，看你怎么活]]></description><link>https://blog.youkuaiyun.com/ddxy1986</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ddxy1986]]></copyright><item><title><![CDATA[机器学习算法推导——xgboost]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/103399180</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/103399180</guid><author>ddxy1986</author><pubDate>Thu, 05 Dec 2019 10:03:06 +0800</pubDate><description><![CDATA[文章目录1、首先是模型2、接下来设定目标函数=损失函数+正则项。3、如何得到树树怎么转换成权重
1、首先是模型
基学习器为树模型、采用boosting集成方法

2、接下来设定目标函数=损失函数+正则项。

2.1 不限定损失函数的具体形式，只要其二阶可导。这样我们不需要为每一个具体的损失函数单独推导一个模型，而是得到一个通用的模型
2.2 再看正则项

用这个来控制树的复杂度。
后一项是L2，是...]]></description><category></category></item><item><title><![CDATA[机器学习算法推导——逻辑回归]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/103396775</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/103396775</guid><author>ddxy1986</author><pubDate>Thu, 05 Dec 2019 00:41:08 +0800</pubDate><description><![CDATA[前言
我们知道，线性回归的公式是
hθ(x)=θTx
h_{\theta}(x)={\theta}^Tx
hθ​(x)=θTx
如果想实现分类功能，就需要把输出变成一个阶跃函数，比如
y={0;z⩽01;z⩾0,z=hθ(x)
y=\left\{\begin{matrix}
0; &amp; z\leqslant 0 \\ 
1; &amp; z \geqslant 0
\end{matrix}\...]]></description><category></category></item><item><title><![CDATA[机器学习问题汇总——逻辑回归]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/103396216</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/103396216</guid><author>ddxy1986</author><pubDate>Wed, 04 Dec 2019 23:11:10 +0800</pubDate><description><![CDATA[文章目录问题1：LR和线性回归，有何异同问题2：为什么要用Sigmoid问题3：为什么叫对数几率函数问题4：为什么LR用最大似然而不是最小二乘作为损失函数问题5：逻辑回归在训练的过程当中，如果有很多的特征高度相关或者说有一个特征重复了100遍，会造成怎样的影响？问题6：LR的缺点问题7：LR和神经网络的关系
问题1：LR和线性回归，有何异同
1、LR是分类问题，线性回归是回归问题，这是最本质的区别...]]></description><category></category></item><item><title><![CDATA[beeline导出csv]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/90294294</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/90294294</guid><author>ddxy1986</author><pubDate>Fri, 17 May 2019 15:35:29 +0800</pubDate><description><![CDATA[导出csv
beeline -n dmp -p dmp@MLJR  -u jdbc:hive2://10.8.49.171:10000/risk_prsv -f hivesql3.hql --showHeader=true --outputformat=csv2 --silent=true &gt; output.csv


]]></description><category></category></item><item><title><![CDATA[数据结构-图]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/88758509</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/88758509</guid><author>ddxy1986</author><pubDate>Sat, 23 Mar 2019 11:57:47 +0800</pubDate><description><![CDATA[文章目录1、概念1.1 图2、图的存储2.1 邻接矩阵2.2 邻接表3、图的遍历3.1 基本思路3.2 广度优先遍历BFS3.3 深度优先遍历DFS参考
1、概念
1.1 图
图（Graph）是由顶点的集合和顶点之间边的集合组成，通常表示为：
G（V，E）
G（V，E）
G（V，E）
其中，G表示一个图，V是图G中顶点的集合，E是图G中边的集合。在图中的数据元素，我们称之为顶点（Vertex），顶...]]></description><category></category></item><item><title><![CDATA[Pandas笔记]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/81116920</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/81116920</guid><author>ddxy1986</author><pubDate>Thu, 19 Jul 2018 16:02:47 +0800</pubDate><description><![CDATA[创建数据



随机数据

创建一个Series，pandas可以生成一个默认的索引



s = pd.Series([1,3,5,np.nan,6,8])

通过numpy创建DataFrame，包含一个日期索引，以及标记的列



dates = pd.date_range('20170101', periods=6)
df = pd.DataFrame(np.random.randn(6,...]]></description><category></category></item><item><title><![CDATA[Light GBM solution for Credit Fraud Detection]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/81005261</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/81005261</guid><author>ddxy1986</author><pubDate>Wed, 11 Jul 2018 18:42:04 +0800</pubDate><description><![CDATA[转自：https://www.kaggle.com/georsara1/light-gbm-solution-for-credit-fraud-detection 
kaggle上一篇不错的代码，最后有生成混淆矩阵图

#Import modules
import numpy as np
import pandas as pd
import seaborn as sns
import matplo...]]></description><category></category></item><item><title><![CDATA[spark操作笔记（持续更新）]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/81005247</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/81005247</guid><author>ddxy1986</author><pubDate>Wed, 11 Jul 2018 18:40:26 +0800</pubDate><description><![CDATA[DataFrame



col批量重命名



dataset = dataset.toDF(dataset.columns.map(col =&amp;gt; col.split(&quot;\\.&quot;, 2)(1)):_*)



RDD]]></description><category></category></item><item><title><![CDATA[Scala中复杂对象转JSON和解析的方法（持续更新）- 待增加保存和读取操作]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/80967881</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/80967881</guid><author>ddxy1986</author><pubDate>Mon, 09 Jul 2018 14:29:08 +0800</pubDate><description><![CDATA[比如有一个复杂对象： 
Map[Int, Map[Int, Double]] 
需要将其转为JSON保存，之后再读取使用，试了几种方法，最后的方案是： 
1、定义case class 
2、所有的数据类型都转为String（避免不必要的麻烦） 
3、Map必须是immutable.Map

代码如下 
1、转json



import org.json4s.JsonDSL._
import or...]]></description><category></category></item><item><title><![CDATA[用scikit-learn生成测试数据集]]></title><link>https://blog.youkuaiyun.com/ddxy1986/article/details/80920117</link><guid>https://blog.youkuaiyun.com/ddxy1986/article/details/80920117</guid><author>ddxy1986</author><pubDate>Wed, 04 Jul 2018 23:26:00 +0800</pubDate><description><![CDATA[转自https://www.jiqizhixin.com/articles/2018-02-05-2

分类测试问题

将看三个分类问题：blobs、moons 和 circles。

线性分类

make_blobs() 函数可被用于生成具有高斯分布的 blobs 点。你可以控制生成 blobs 的数量，生成样本的数量以及一系列其他属性。考虑到 blobs 的线性可分性质，该问题也适用于线性分类...]]></description><category></category></item></channel></rss>