<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[cht5600的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/cht5600</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; cht5600]]></copyright><item><title><![CDATA[RecSys 2017 Highlights]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/80264024</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/80264024</guid><author>cht5600</author><pubDate>Thu, 10 May 2018 10:36:59 +0800</pubDate><description><![CDATA[In this post I will give my personal thoughts on some articles from 2017 ACM Conference on Recommender Systems, that I chose out of my own interest, with no specific order, divided by recent trends in...]]></description><category></category></item><item><title><![CDATA[2015年~2017年SIGIR，SIGKDD，ICML三大会议的Recsys论文]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/80232356</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/80232356</guid><author>cht5600</author><pubDate>Mon, 07 May 2018 22:02:15 +0800</pubDate><description><![CDATA[ 

（转自：https://www.cnblogs.com/shenxiaolin/p/8321722.html） 

SIGIR-2015

【Title】WEMAREC: Accurate and Scalable Recommendation through Weighted and Ensemble Matrix Approximation

【Abstract】Matrix appro...]]></description><category></category></item><item><title><![CDATA[适合大数据的聚类算法Mini Batch K-Means]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/76014573</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/76014573</guid><author>cht5600</author><pubDate>Mon, 24 Jul 2017 12:03:45 +0800</pubDate><description><![CDATA[K-Means算法是常用的聚类算法，但其算法本身存在一定的问题，例如在大数据量下的计算时间过长就是一个重要问题。为此，Mini
 Batch K-Means，这个基于K-Means的变种聚类算法应运而生。

大数据量是什么量级？通过当样本量大于1万做聚类时，就需要考虑选用Mini Batch K-Means算法。但是，在选择算法时，除了算法效率（运行时间）外，算法运行的准确度也是选择算法的重]]></description><category></category></item><item><title><![CDATA[深入FFM原理与实践]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/56675397</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/56675397</guid><author>cht5600</author><pubDate>Thu, 23 Feb 2017 16:33:17 +0800</pubDate><description><![CDATA[FM和FFM模型是最近几年提出的模型，凭借其在数据量比较大并且特征稀疏的情况下，仍然能够得到优秀的性能和效果的特性，屡次在各大公司举办的CTR预估比赛中获得不错的战绩。美团点评技术团队在搭建DSP的过程中，探索并使用了FM和FFM模型进行CTR和CVR预估，并且取得了不错的效果。本文旨在把我们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。

前言

在计算广告领域，点击率CTR（]]></description><category></category></item><item><title><![CDATA[BPR [Bayesian Personalized Ranking] 算法详解及应用实践]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/54381011</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/54381011</guid><author>cht5600</author><pubDate>Thu, 12 Jan 2017 19:35:36 +0800</pubDate><description><![CDATA[在推荐系统的实现中，几乎总会遇到从较多候选集中为用户选取特定的少数几个物品进行推荐，这本质上是一个Ranking问题。

 

在推荐场景中用户更缺乏耐性，对推荐结果的消费也十分有限。因此，排序的好坏直接决定了用户对一个准确率为90%的推荐候选集的满意度是否真的有90%。

 

这里我们为大家介绍一种“基于贝叶斯后验优化的个性化排序算法”：Bayesian Personalize]]></description><category></category></item><item><title><![CDATA[通过矩阵求两个向量集中元素两两之间的欧氏距离(python实现)]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/53483182</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/53483182</guid><author>cht5600</author><pubDate>Tue, 06 Dec 2016 09:49:21 +0800</pubDate><description><![CDATA[在很多算法中都会涉及到求向量欧式距离，例如机器学习中的KNN算法，就需要对由训练集A和测试集B中的向量组成的所有有序对(Ai,Bi),求出Ai和Bi的欧式距离。这样的话就会带来一个二重的嵌套循环，在向量集很大时效率不高。
这里介绍如何将这一过程用矩阵运算实现。
假设有两个三维向量集，用矩阵表示: 

A=[a11a12a21a22a31a32]


B=⎡⎣⎢⎢⎢b11b12b13b]]></description><category></category></item><item><title><![CDATA[WMD：基于词向量的文档相似度计算]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/53405315</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/53405315</guid><author>cht5600</author><pubDate>Wed, 30 Nov 2016 10:45:45 +0800</pubDate><description><![CDATA[EMD算法简介


该部分引用自[1]

Earth Mover’s Distance (EMD)，和欧氏距离一样，他们都是一种距离度量的定义，可以用来测量某分布之间的距离。EMD主要应用在图像处理和语音信号处理领域。

EMD问题如下图所示



给定两个签名(或者叫分布、特征量集合)P和Q，P为m个特征量Pi和其权重wPi的集合，记作P={(P1,wP1),(P2,wP2]]></description><category></category></item><item><title><![CDATA[文本表示方法]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/53381364</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/53381364</guid><author>cht5600</author><pubDate>Mon, 28 Nov 2016 17:55:06 +0800</pubDate><description><![CDATA[在NLP诸多问题（如：文本分类等）中，文本表示不可或缺。这里博主枚举一些主流的文本表示方法。
这里主要说的是基于文本内容的表示，顺带先扯扯基于行为的表示：不同的业务有不同的表示，基于行为的文本表示如SVD，LFM等，基于用户的行为日志（如新闻点击）学习用户和文本的的特征向量，url2vec利用用户对文本的点击序列，借鉴word2vec（每个文本看成一个word），训练文本的向量表示。
基于文本]]></description><category></category></item><item><title><![CDATA[蓄水池抽样]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/53216488</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/53216488</guid><author>cht5600</author><pubDate>Fri, 18 Nov 2016 14:49:54 +0800</pubDate><description><![CDATA[问题：在时间复杂度为O(n)下对大批量甚至未知大小的数据（N）等概率随机抽取k个数。
抽样过程：顺序遍历数据N，遍历的前k个数据抽取出放入容量为k的“蓄水池”（称之为K），从第k+i（i>0）数据开始，以k/(k+i)的概率选择该数据并等概率随机替换K中元素。直到遍历结束。
先不多说，撸一串代码（从0到999这一千个整数随机抽取10个）：

def sampling(k=10, N=np.]]></description><category></category></item><item><title><![CDATA[ubuntu 64位 + tensorflow（cpu）之pip安装]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/53100682</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/53100682</guid><author>cht5600</author><pubDate>Wed, 09 Nov 2016 15:43:20 +0800</pubDate><description><![CDATA[Tensorflow：
TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，主要是深度神经网络模型。
安装配置：
因为不支持Windows系统，只能在Mac或Linux上使用，因此Windows系统可以装个VM虚拟机。
官网是提供了pip, Docker, Virtualenv, Anaconda 等多种方法安装TensorFlow，但是我只走了pip这一条]]></description><category></category></item><item><title><![CDATA[连续特征的离散化：在什么情况下将连续的特征离散化之后可以获得更好的效果？]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/52673659</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/52673659</guid><author>cht5600</author><pubDate>Mon, 26 Sep 2016 20:33:29 +0800</pubDate><description><![CDATA[连续特征的离散化：在什么情况下将连续的特征离散化之后可以获得更好的效果？

Q:CTR预估，发现CTR预估一般都是用LR，而且特征都是离散的。为什么一定要用离散特征呢？这样做的好处在哪里？

A:

在工业界，很少直接将连续值作为逻辑回归模型的特征输入，而是将连续特征离散化为一系列0、1特征交给逻辑回归模型，这样做的优势有以下几点：

0、 离散特征的增加和减少都很容易，易于模型的]]></description><category></category></item><item><title><![CDATA[特征处理（Feature Processing）]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/52367698</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/52367698</guid><author>cht5600</author><pubDate>Tue, 30 Aug 2016 11:17:58 +0800</pubDate><description><![CDATA[特征工程（Feature Engineering）经常被说为机器学习中的black art，这里面包含了很多不可言说的方面。怎么处理好特征，最重要的当然还是对要解决问题的了解。但是，它其实也有很多科学的地方。这篇文章我之所以命名为特征处理（Feature Processing），是因为这里面要介绍的东西只是特征工程中的一小部分。这部分比较基础，比较容易说，所以由此开始。

单个原始特征（或称为]]></description><category></category></item><item><title><![CDATA[特征选择与特征学习]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/52355566</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/52355566</guid><author>cht5600</author><pubDate>Mon, 29 Aug 2016 18:33:21 +0800</pubDate><description><![CDATA[特征选择与特征学习

在机器学习的具体实践任务中，选择一组具有代表性的特征用于构建模型是非常重要的问题。特征选择通常选择与类别相关性强、且特征彼此间相关性弱的特征子集，具体特征选择算法通过定义合适的子集评价函数来体现。 
在现实世界中，数据通常是复杂冗余，富有变化的，有必要从原始数据发现有用的特性。人工选取出来的特征依赖人力和专业知识，不利于推广。于是我们需要通过机器来学习和抽取特征，促进特]]></description><category></category></item><item><title><![CDATA[Spark开发环境配置(windows/Intellij IDEA 篇)]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/52279403</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/52279403</guid><author>cht5600</author><pubDate>Mon, 22 Aug 2016 19:02:13 +0800</pubDate><description><![CDATA[Intellij IDEA是一个蛮不错的IDE，在java/scala/Groovy领域深得人心。笔者之前使用的是Eclipse那一套开发环境，虽然也不错，但忍不住好奇心的驱使，折腾了一下IDEA，发现写起Spark程序来，“哎呦，不错哟！”，故总结一下在windows系统中的配置过程(在mac下的配置其实更简单一些)，自己琢磨时还是费了点劲的，网上各种教程新旧正误繁杂，好不麻烦，加上笔者工作中最]]></description><category></category></item><item><title><![CDATA[转：Adaboost 算法的原理与推导]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/51768033</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/51768033</guid><author>cht5600</author><pubDate>Mon, 27 Jun 2016 13:31:47 +0800</pubDate><description><![CDATA[Adaboost 算法的原理与推导




（原文链接：http://blog.youkuaiyun.com/v_july_v/article/details/40718799）
0 引言
    一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单：听取多人意见，最后综合决策，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，在我组织的机器学习班 第8次课上Z讲师讲决]]></description><category></category></item><item><title><![CDATA[转：利用GBDT模型构造新特征]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/51753621</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/51753621</guid><author>cht5600</author><pubDate>Fri, 24 Jun 2016 16:10:38 +0800</pubDate><description><![CDATA[说明：转载自https://breezedeus.github.io/2014/11/19/breezedeus-feature-mining-gbdt.html

实际问题中，可直接用于机器学习模型的特征往往并不多。能否从“混乱”的原始log中挖掘到有用的特征，将会决定机器学习模型效果的好坏。引用下面一句流行的话：


特征决定了所有算法效果的上限，而不同的算法只是离这个上限的距离不同]]></description><category></category></item><item><title><![CDATA[让你彻底明白hive数据存储各种模式]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/51544701</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/51544701</guid><author>cht5600</author><pubDate>Tue, 31 May 2016 12:42:24 +0800</pubDate><description><![CDATA[问题导读
1.hive数据分为那两种类型？
2.什么表数据？
3.什么是元数据？
4.Hive表里面导入数据的本质什么？
5.表、分区、桶之间之间的关系是什么？
6.外部表和表的区别是什么？





Hive的数据分为表数据和元数据，表数据是Hive中表格（table）具有的数据；而元数据是用来存储表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目]]></description><category></category></item><item><title><![CDATA[分类中样本数据不平衡问题的解决方法]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/51435462</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/51435462</guid><author>cht5600</author><pubDate>Tue, 17 May 2016 13:44:28 +0800</pubDate><description><![CDATA[问题：研究表明，在某些应用下，1∶35的比例就会使某些分类方法无效，甚至1∶10的比例也会使某些分类方法无效。
（1）少数类所包含的信息就会很有限，从而难以确定少数类数据的分布，即在其内部难以发现规律，进而造成少数类的识别率低
（2）数据碎片。很多分类算法采用分治法，样本空间的逐渐划分会导致数据碎片问题，这样只能在各个独立的子空间中寻找数据的规律，对于少数类来说每个子空间中包含了很少的数据信息]]></description><category></category></item><item><title><![CDATA[pycharm中的Django操作数据库]]></title><link>https://blog.youkuaiyun.com/cht5600/article/details/51316320</link><guid>https://blog.youkuaiyun.com/cht5600/article/details/51316320</guid><author>cht5600</author><pubDate>Wed, 04 May 2016 16:55:10 +0800</pubDate><description><![CDATA[（一）在idle中进行数据操作需要的环境初始化操作

import os;
import sys;
sys.path.append("E:\\tmp\\mysite");   # 项目位置
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")






（二）导入已定义好的数据模型

fr]]></description><category></category></item></channel></rss>