<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[www_jun的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/www_jun</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; www_jun]]></copyright><item><title><![CDATA[机器学习-微积分基础总结(一)]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/78835109</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/78835109</guid><author>www_jun</author><pubDate>Mon, 18 Dec 2017 17:18:53 +0800</pubDate><description><![CDATA[学习微积分之前需要知道 导数，矩阵等基本概念 高中基础即可
在看微积分基础链接中资料可能遇到的不理解的地方可以参考如下总结 
海森Hessian矩阵
最优化问题 简化推导
拉格朗日乘子，函数深入理解 讲的深入浅出
泰勒公式通俗理解
微积分基础源链接]]></description><category></category></item><item><title><![CDATA[A Neural Probabilistic Language Model笔记]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/77718893</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/77718893</guid><author>www_jun</author><pubDate>Wed, 30 Aug 2017 18:16:20 +0800</pubDate><description><![CDATA[本文是个人笔记，lz才疏学浅，有什么理解不到位的地方欢迎各种拍 .
理解简述：其本身是语言模型，为了验证或者说是预测一句话最可能的表达，在预测的过程中产生word embedding 矩阵，在输入层中将词映射为一个m列的向量，也即词的向量表示，NPLM模型结构一共分为3层，输入 映射-隐含-输出 
模型结构图模型训练过程图中最低的是输入 映射层 
输入是当前词w_t的前n个词 (w_t-n+1~w_]]></description><category></category></item><item><title><![CDATA[自然语言 基础(一)]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/75052204</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/75052204</guid><author>www_jun</author><pubDate>Thu, 13 Jul 2017 14:14:37 +0800</pubDate><description><![CDATA[基础]]></description><category></category></item><item><title><![CDATA[自然语言-news recommed]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/68066015</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/68066015</guid><author>www_jun</author><pubDate>Wed, 29 Mar 2017 16:00:40 +0800</pubDate><description><![CDATA[特征工程 
首先提取news的文本，图片，视频， 
针对news的文本分词 :N-gama+CRF+HMM
对news附带的图片：
对news附带的视频：
*]]></description><category></category></item><item><title><![CDATA[特征工程]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/54928749</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/54928749</guid><author>www_jun</author><pubDate>Wed, 08 Feb 2017 16:42:07 +0800</pubDate><description><![CDATA[图片摘自网络




特征分类：
 1.

Low level特征和High level特征；
 2.

稳定特征与动态特征；
 3.

二值特征、连续特征、枚举特征；
特征处理,分析
1.特征归一化，离散化，缺省值处理。



归一化
不同的特征有不同的取值范围，在有些算法中，例如线性模型或者距离相关的模型像聚类模型、knn模型等，特征的取值范围会对最终]]></description><category></category></item><item><title><![CDATA[K近邻，kd树]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/53930656</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/53930656</guid><author>www_jun</author><pubDate>Thu, 29 Dec 2016 17:28:01 +0800</pubDate><description><![CDATA[k近邻是不具有显式的学习过程，是简单的分类回归算法k近邻三个重要的因素：距离计算，k值的选择，分类规则
距离计算 
 
例子： k值的选择 
在应用中k一般取比较小的值，通常采用交叉验证来选取最优的k。
分类决策规则 kd树是为了减少在k近邻计算k个距离最近的类数据集线性扫描的过程，kd搜索，首先先构造kd搜索树 
例子： 
 
过程kd树最近邻搜索算法： 
引用资料，李航–统计学习方法]]></description><category></category></item><item><title><![CDATA[ALS ，ALS-WR算法1]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/53764978</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/53764978</guid><author>www_jun</author><pubDate>Tue, 20 Dec 2016 17:04:33 +0800</pubDate><description><![CDATA[做推荐项目用到的算法及相关：
总结资料：
    转载链接


原理介绍：https://github.com/ceys/jdml/wiki/ALS针对wiki中的公式显示整理：http://www.fuqingchuan.com/2015/03/812.htmlspark mllib及代码实例:https://spark.apache.org/docs/latest/mllib-col]]></description><category></category></item><item><title><![CDATA[广告学流量预算]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/52998393</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/52998393</guid><author>www_jun</author><pubDate>Tue, 01 Nov 2016 18:28:49 +0800</pubDate><description><![CDATA[平滑资料整理：








Budget Smoothing的系统设计
设计包括两个方面：1）如何影响线上的广告机会的挑选 2）如何获得更多的数据反馈支持“消耗计划”的制定。数据通常分为线上的流式数据和历史数据的分析。

在DSP中，预算平滑是作为控制出价的一个因素，需要结合其他的条件共同判断，这种因素需要考虑流量的机会成本和未来的机会成本的预估。


下面是Li]]></description><category></category></item><item><title><![CDATA[基于IRT和CRT的试题难度计算控制算法]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/52583607</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/52583607</guid><author>www_jun</author><pubDate>Mon, 19 Sep 2016 10:40:30 +0800</pubDate><description><![CDATA[目前, ＣＡＴ(Computer aided test, 计算机辅助测试系统) 试卷模式中试题难度分布设计的核心思想，主要根据难度分布应该是正态分布函数来进行假设的。而难度在教育心理学中的定义大致有两类，一类是分数度量，即将考生的结果分数进行加权统计作为难度的度量标准，在试卷为百分制状态下，假设在（0，100）区间进行正态分布[1],实际上这个要求是往往和事实不吻合。作者调用了很多考试的成绩，成绩]]></description><category></category></item><item><title><![CDATA[距离和相似度度量的区别和联系]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/52529299</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/52529299</guid><author>www_jun</author><pubDate>Tue, 13 Sep 2016 20:43:16 +0800</pubDate><description><![CDATA[距离和相似度度量

6 条回复


　　在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如K最近邻（KNN）和K均值（K-Means）。当然衡量个体差异的方法有很多，最近查阅了相关的资料，这里整理罗列下。

　　为了方便下面的解释和举例，先设定我们要比较X个体和Y个体间的差异，它们]]></description><category></category></item><item><title><![CDATA[欧几里得辗转相除法c实现]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/50174627</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/50174627</guid><author>www_jun</author><pubDate>Tue, 13 Sep 2016 18:24:21 +0800</pubDate><description><![CDATA[#include 

void main()
{
int m=46;
int n=128;
int a;
int b=n%m;

while (b!=0){

a=m%b;
if(a==0)
break;
b=a;
}
printf("%d",b)
}]]></description><category></category></item><item><title><![CDATA[图片相似度（汉明距离）]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/52524007</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/52524007</guid><author>www_jun</author><pubDate>Tue, 13 Sep 2016 10:55:26 +0800</pubDate><description><![CDATA[Google、Baidu 等搜索引擎相继推出了以图搜图的功能，测试了下效果还不错~ 那这种技术的原理是什么呢？计算机怎么知道两张图片相似呢？根据Neal Krawetz博士的解释，原理非常简单易懂。我们可以用一个快速算法，就达到基本的效果。这里的关键技术叫做”感知哈希算法”（Perceptual hash algorithm），它的作用是对每张图片生成一个”指纹”（fingerprint）字符串，然]]></description><category></category></item><item><title><![CDATA[文本相似(汉明距离)]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/52523966</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/52523966</guid><author>www_jun</author><pubDate>Tue, 13 Sep 2016 10:52:56 +0800</pubDate><description><![CDATA[汉明距离《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理，大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增，如果一天100w，10天就1000w了。我们如果插入一条数据就要去比较1000w次的simhash，计算量还是蛮大，普通PC 比较1000w次海明距离需要 300ms ，和5000w数据比较需要1.8 s。看起来相似度计算不是很慢，还在秒]]></description><category></category></item><item><title><![CDATA[程序化广告交易中的点击率预估 CRT]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/52483831</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/52483831</guid><author>www_jun</author><pubDate>Fri, 09 Sep 2016 08:31:09 +0800</pubDate><description><![CDATA[程序化广告交易中的点击率预估]]></description><category></category></item><item><title><![CDATA[广告特征提取]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/52471554</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/52471554</guid><author>www_jun</author><pubDate>Thu, 08 Sep 2016 14:55:16 +0800</pubDate><description><![CDATA[在预估ctr的过程中，理论上是应该有这么几类特征信息： 
用户的信息（用户输入的query,包括用户的年龄，消费水平，历史操作行为） 
广告的特征（商品item的属性，item的流行度，广告商的评级等等） 
历史的反馈特征（利用历史记录中，已经产生的pv,click信息对应一些特征信息的抽取，利用历史真实的ctr数据进行预估）如每个广告的实时ctr，广告跟性别交叉的ctr在海量的数据当中，首先能够保]]></description><category></category></item><item><title><![CDATA[spark MLlib之分类和回归]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/52450912</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/52450912</guid><author>www_jun</author><pubDate>Tue, 06 Sep 2016 16:08:46 +0800</pubDate><description><![CDATA[MLlib支持多种方法用来处理二分分类，多类分类以及回归分析，下表列出了问题及对应的处理方法： 
问题类型    支持的方法 
二分分类    现行SVM，逻辑回归，决策树，贝叶斯 
多类分类    决策树，贝叶斯 
回归  线性最小二乘法，套索，岭回归 
下面是对这些方法更详细的描述： 
线性方法 
数学表达式 
许多标准的机器学习方法可以表达为凸的优化问题，例如，找到凸函数 f 的极小值取决于变]]></description><category></category></item><item><title><![CDATA[eclipse远程提交scala到spark集群问题]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/49759429</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/49759429</guid><author>www_jun</author><pubDate>Tue, 29 Mar 2016 17:06:51 +0800</pubDate><description><![CDATA[欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：
Markdown和扩展Markdown简洁的语法
代码块高亮
图片链接和图片上传
LaTex数学公式
UML序列图和流程图
离线写博客
导入导出Markdown文件
丰富的快捷键
快捷键
加粗    Ctrl + B 
斜体    Ctrl + I 
引用    Ctrl]]></description><category></category></item><item><title><![CDATA[hive udf添加永久生效三种方法]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/50261385</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/50261385</guid><author>www_jun</author><pubDate>Fri, 11 Dec 2015 11:23:29 +0800</pubDate><description><![CDATA[1.在$HIVE_CONF_DIR/下添加文件.hiverc
在文件中添加udf函数
add  jar  ***.jar
create temporary funcation **** as ***


2.在hive-env.sh配置文件中添加HIVE_AUX_JARS_PATH
然后再使用
3.下载对应的hive源码包重新编译打包]]></description><category></category></item><item><title><![CDATA[hadoop2.*能力调度器capacity-scheduler]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/49468993</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/49468993</guid><author>www_jun</author><pubDate>Wed, 28 Oct 2015 15:12:54 +0800</pubDate><description><![CDATA[capacity-scheduler能力调度器


1.  添加用户组dwgroup（集群中的namenode主备机器都要做以下操作）
groupadd dwgroup           //添加用户组
useradd -G  dwgroup 用户//将用户加到dwgroup用户组里
 
2.  yarn-site.xml
新增配置

yarn.resourcemanager]]></description><category></category></item><item><title><![CDATA[Windows环境下eclipse提交到远程wordcount程序报错 at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)]]></title><link>https://blog.youkuaiyun.com/www_jun/article/details/49357535</link><guid>https://blog.youkuaiyun.com/www_jun/article/details/49357535</guid><author>www_jun</author><pubDate>Fri, 23 Oct 2015 10:00:25 +0800</pubDate><description><![CDATA[远程hadoop2.7，本地的windows7
程序报错如下：
2015-09-28 22:04:21,423 WARN  [main] util.NativeCodeLoader (NativeCodeLoader.java:(62)) - Unable to load native-hadoop library for your platform... using builtin-java]]></description><category></category></item></channel></rss>