<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[上下求索]]></title><description><![CDATA[专注自然语言处理、数据挖掘、信息检索、云计算及行业咨询]]></description><link>https://blog.youkuaiyun.com/resourse_sharing</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; resourse_sharing]]></copyright><item><title><![CDATA[HMM的介绍及实现]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/54667138</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/54667138</guid><author>resourse_sharing</author><pubDate>Sun, 22 Jan 2017 10:54:14 +0800</pubDate><description><![CDATA[HMM基本原理
Markov链：如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性，或称此过程为马尔可夫过程。马尔可夫链是时间和状态参数都离散的马尔可夫过程。HMM是在Markov链的基础上发展起来的，由于实际问题比Markov链模型所描述的更为复杂，观察到的时间并不是与状态一一对应的，而是通过一组概率分布相联系，这样的模型称为HMM。HMM是双重随机过程：其中之一是M]]></description><category></category></item><item><title><![CDATA[使用Word Embedding构造文本摘要系]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/52278694</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/52278694</guid><author>resourse_sharing</author><pubDate>Mon, 22 Aug 2016 17:28:41 +0800</pubDate><description><![CDATA[文本摘要是在信息泛滥的时代非常重要的工具，可以帮助用户快速判断文章内容主旨，并以此决定是否值得细看文章内容。




本文介绍下我们在2014年底2015年初时，使用WordEmbedding思想来构造文本摘要的一些思路，其中包括一种异常简单的文本摘要实现思路，实验效果证明这种方法虽然简单，可能比传统的TFIDF方法还要简单，但是效果与比较复杂的方法是相当的。




这里介绍]]></description><category></category></item><item><title><![CDATA[kd-tree]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/52182322</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/52182322</guid><author>resourse_sharing</author><pubDate>Thu, 11 Aug 2016 14:33:27 +0800</pubDate><description><![CDATA[k-d树[1]  （k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。K-D树是二进制空间分割树的特殊的情况。



应用背景



SIFT算法中做特征点匹配的时候就会利用到k-d树。而特征点匹配实际上就是一个通过距离函数在高维矢量之间进行相似性检索的问题。针对如何快速而准确地找到查询点的近邻，现]]></description><category></category></item><item><title><![CDATA[为什么要特征标准化及特征标准化方法]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51979494</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51979494</guid><author>resourse_sharing</author><pubDate>Fri, 22 Jul 2016 10:52:30 +0800</pubDate><description><![CDATA[归一化化定义：归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。归一化的原因是什么那：
一是为了后面数据处理的方便，把不同量纲的东西放在同一量纲下比较，即把不同来源的数据统一到一个参考系下，这样比较起来才有意义。
特征标准化]]></description><category></category></item><item><title><![CDATA[特征选择常用算法综述]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51955445</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51955445</guid><author>resourse_sharing</author><pubDate>Tue, 19 Jul 2016 14:23:01 +0800</pubDate><description><![CDATA[1 综述


(1) 什么是特征选择
特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。
 
(2) 为什么要做特征选择
       在机器学习的实际应用中，特征数量往往较多，其]]></description><category></category></item><item><title><![CDATA[指数分布与幂律分布定义及不同（泊松分布、伽马分布）]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51942754</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51942754</guid><author>resourse_sharing</author><pubDate>Mon, 18 Jul 2016 17:18:00 +0800</pubDate><description><![CDATA[1、定义
(1)幂律分布（pow law distribution），其概率密度函数形式如下，这种分布的共性是绝大多数事件的规模很小，而只有少数事件的规模相当大。
y=cx-r

其中x，y是正的随机变量，c，r均为大于零的常数。
对上式两边取对数，可知lny与lnx满足线性关系lny=lnc-rlnx，也即在双对数坐标下，幂律分布表现为一条斜率为幂指数的负数的直线，这一线性关系是判断给]]></description><category></category></item><item><title><![CDATA[卡方检验x2检验（chi-square test）]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51852331</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51852331</guid><author>resourse_sharing</author><pubDate>Thu, 07 Jul 2016 16:31:01 +0800</pubDate><description><![CDATA[x2检验（chi-square test）或称卡方检验，是一种用途较广的假设检验方法。可以分为成组比较（不配对资料）和个别比较（配对，或同一对象两种处理的比较）两类。

    一、四格表资料的x2检验

    例20.7某医院分别用化学疗法和化疗结合放射治疗卵巢癌肿患者，结果如表20-11，问两种疗法有无差别？

表20-11 两种疗法治疗卵巢癌的疗效比较





]]></description><category></category></item><item><title><![CDATA[deep learning学习]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51726925</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51726925</guid><author>resourse_sharing</author><pubDate>Tue, 21 Jun 2016 16:31:58 +0800</pubDate><description><![CDATA[阅读笔记
为什么有deep learning


手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。既然手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！Deep
 Learning就是用来干这个事情的，看它的一个别名UnsupervisedFeature Learning，就可以顾名思义了，Unsup]]></description><category></category></item><item><title><![CDATA[CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的区别]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51721021</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51721021</guid><author>resourse_sharing</author><pubDate>Mon, 20 Jun 2016 15:28:00 +0800</pubDate><description><![CDATA[http://www.zhihu.com/question/34681168

个人觉得CNN、RNN和DNN不能放在一起比较。
DNN是一个大类，CNN是一个典型的空间上深度的神经网络，RNN是在时间上深度的神经网络。
推荐你从UFLDL开始看，这是斯坦福深度学习的课程，了解一些神经网络的基础，会对你的学习有很大帮助。
=============================分割线=]]></description><category></category></item><item><title><![CDATA[word embedding]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51720280</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51720280</guid><author>resourse_sharing</author><pubDate>Mon, 20 Jun 2016 14:05:26 +0800</pubDate><description><![CDATA[Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function，其中该函数是injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然）和structure-preserving (结构保存，比如在X所属的空间上X1 

通俗的翻译可以认为是单词嵌入，就是把X所属空间的单词映射为到Y空间的多维向量，那么该多维向量相当于嵌入到Y所属空间中，一]]></description><category></category></item><item><title><![CDATA[稀疏特征（稀疏矩阵）]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51680225</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51680225</guid><author>resourse_sharing</author><pubDate>Wed, 15 Jun 2016 12:01:31 +0800</pubDate><description><![CDATA[所谓”稀疏“，是很常见的一个词，比如稀疏矩阵，稀疏编码。这里直白点讲，就是非零值很少。就如对于矩阵而言，稀疏矩阵，就是大部分数据都为0，少部分不为0，稀疏正是指”非0数据很少。

那么”稀疏特征“，如果用矩阵的形式表达，得到的就是稀疏矩阵。“稀疏特征”在大多数的特征上其值为0，只有少部分的特征非0。


一般在machine learning意义上，我们常说的feature，是一种对数据]]></description><category></category></item><item><title><![CDATA[参加kaggle竞赛是怎样一种体验？]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51606316</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51606316</guid><author>resourse_sharing</author><pubDate>Tue, 07 Jun 2016 20:15:05 +0800</pubDate><description><![CDATA[作者：Naiyan Wang
链接：http://www.zhihu.com/question/24533374/answer/34631808
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

先贴下Kaggle Profile以示诚意：Winsty | Kaggle 我是KDD Cup专业户，虽然每年做的都不是特别好。。。和一些Kaggle专业户们无]]></description><category></category></item><item><title><![CDATA[xgboost: 速度快效果好的boosting模型]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51595540</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51595540</guid><author>resourse_sharing</author><pubDate>Mon, 06 Jun 2016 15:00:34 +0800</pubDate><description><![CDATA[本文作者：何通，SupStat Inc(总部在纽约，中国分部为北京数博思达信息科技有限公司）数据科学家，加拿大Simon
 Fraser University计算机学院研究生，研究兴趣为数据挖掘和生物信息学。
主页：https://github.com/hetong007


引言

在数据分析的过程中，我们经常需要对数据建模并做预测。在众多的选择中，randomForest, gb]]></description><category></category></item><item><title><![CDATA[SVM中决策距离（函数）计算]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51538480</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51538480</guid><author>resourse_sharing</author><pubDate>Mon, 30 May 2016 16:10:57 +0800</pubDate><description><![CDATA[sklearn中的SVM算法使用了liblinear和libsvm两个包，而且模型参数略有区别。

在sklearn中，SVM有SVC和SVR之分，且有四种核函数如下，所以在SVM的参数中有些模型需要，有些模型不需要。



linear: .polynomial: .  is
 specified by keyword degree,  by coef0.rbf: .  is]]></description><category></category></item><item><title><![CDATA[AUC、ROC、ACC区别]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51496494</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51496494</guid><author>resourse_sharing</author><pubDate>Wed, 25 May 2016 13:01:25 +0800</pubDate><description><![CDATA[很多时候我们都用到ROC（receiver
 operating characteristic curve，受试者工作特征曲线）和AUC(Area
 Under Curve,被定义为ROC曲线下的面积)来评判一个二值分类器的优劣，其实AUC跟ROC息息相关，AUC就是ROC曲线下部分的面积，所以需要首先知道什么是ROC，ROC怎么得来的。然后我们要知道一般分类器会有个准确率ACC，那么既然有了]]></description><category></category></item><item><title><![CDATA[LibLinear使用及与Lib的区别]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/51452427</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/51452427</guid><author>resourse_sharing</author><pubDate>Thu, 19 May 2016 12:16:00 +0800</pubDate><description><![CDATA[本文主要基于liblinear-1.93版本的README文件。里面介绍了liblinear的详细使用方法。更多信息请参考：

       http://www.csie.ntu.edu.tw/~cjlin/liblinear/

在这里我用到的是LibLinear的Matlab接口，这个在下一博文中介绍。


 LIBLINEAR是一个简单的求解大规模规则化线性分类和回归的软件包]]></description><category></category></item><item><title><![CDATA[特征处理（Feature Processing)]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/50821105</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/50821105</guid><author>resourse_sharing</author><pubDate>Mon, 07 Mar 2016 17:49:46 +0800</pubDate><description><![CDATA[特征处理（Feature Processing）

Nov 15, 2014

特征工程（Feature Engineering）经常被说为机器学习中的black art，这里面包含了很多不可言说的方面。怎么处理好特征，最重要的当然还是对要解决问题的了解。但是，它其实也有很多科学的地方。这篇文章我之所以命名为特征处理（Feature Processing），是因为这里面要介绍的东西只是特征]]></description><category></category></item><item><title><![CDATA[双聚类的研究与进展]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/50817214</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/50817214</guid><author>resourse_sharing</author><pubDate>Mon, 07 Mar 2016 09:59:42 +0800</pubDate><description><![CDATA[近年来随着基因芯片和DNA微阵列等高通量检测技术的发展，产生了众多的基因表达数据。对这些数据进行有效的分析已经成为后基因组时代的研究重点。一般的聚类是根据数据的全部属性将数据聚类，这种聚类方式称为传统聚类。传统聚类只能寻找全局信息，无法找到局部信息，而大量的生物学信息就隐藏在这些局部信息中。为了更好地在数据矩阵中搜索局部信息，人们提出双聚类概念，目前这种聚类方法得到了越来越广泛的应用]]></description><category></category></item><item><title><![CDATA[NLP/ML/SML/DM etc. website]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/50506192</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/50506192</guid><author>resourse_sharing</author><pubDate>Tue, 12 Jan 2016 19:11:33 +0800</pubDate><description><![CDATA[1、Python机器学习工具：http://scikit-learn.org/stable/index.html
2、统计学：统计之都，http://cos.name/
to be updating]]></description><category></category></item><item><title><![CDATA[hive-学习笔记]]></title><link>https://blog.youkuaiyun.com/resourse_sharing/article/details/48031597</link><guid>https://blog.youkuaiyun.com/resourse_sharing/article/details/48031597</guid><author>resourse_sharing</author><pubDate>Thu, 27 Aug 2015 18:10:43 +0800</pubDate><description><![CDATA[hive-学习笔记





1.hive模糊搜索表
  show tables like '*name*';

2.查看表结构信息
  desc formatted table_name;
  desc table_name;

3.查看分区信息
  show partitions table_name;

4.根据分区查询数据
  select table_c]]></description><category></category></item></channel></rss>