Chloezhao的专栏

原创 librec运行方法

赞人品，祝自己查代码顺利，祝自己答辩顺利！祝自己顺利毕业有感于一个多月没有碰librec，竟然忘记如何执行，好记性果然比不上烂笔头1.  命令行执行，见之前的博文2.使用test包下的相应的java文件通过junit运行

转载 json.parsearray使用详解

1.这个方法的作用就是将json格式的数据转换成数组格式。2.，假设有Person这个类，有json类型数据str=str = [{"name":"张三","age":"1"},{"name":"李四","age":"4"}]，那么List listt = json.parseArray(str, Person.class);listt就可以接收str了，

原创 ideallij使用备忘

1.快捷键2.导入工程3.导入工程后文件结构问题

原创 【java】Long.valueOf()和longValue()区别

1.Long.valueOf(这里有参数)，是将参数转换成long的包装类——Long。 作用：将基本数据类型转换成包装类2.longValue()是Long类的一个方法，用来得到Long类中的数值。 作用：将包装类中的数据拆箱成基本数据类型

转载 Mybaties中的foreach

1.作用：          foreach的主要用在构建in条件中，它可以在SQL语句中进行迭代一个集合。2.属性：foreach元素的属性主要有 item，index，collection，open，separator，close。（1）item表示集合中每一个元素进行迭代时的别名（2）index指 定一个名字，用于表示在迭代过程中，每次迭代到的位置，

原创 librec的使用 how to use librec

直接使用1.下载解压2.进入bin下3.输入命令行librec rec -exec -D rec.recommender.class=itemcluster -D rec.pgm.number=10 -D rec.iterator.maximum=20或是使用命令行librec rec -exec -conf itemcluster-test.properties

原创 win10cmd切换目录

在改变目录之前，添加一个 /d 就可以跳转不同的盘符了。如下图由C盘跳转到E盘的对应文档

原创 实验2——建模

建模buildModle def buildModel(self): loss_pre = sys.float_info.max nonzeros = self.trainMatrix.nnz hr_prev = 0.0 sys.stderr.write("Run for BPR. \n") for itr

原创 实验1—将所有数据处理为矩阵

trainMatrix, testRatings = load_data('yelp.rating')def load_data(ratingFile, testRatio=0.1): user_count = item_count = 0 ratings = [] for line in open(ratingFile): arr = li

原创 后验，似然，先验

原创 重要BPR——mark

Bayesian Personalized Ranking代码https://github.com/gamboviol/bprhttp://www.librec.net/tutorial.htmlhttps://rdrr.io/cran/rrecsys/man/BPRclass.htmlBPR论文读书笔记 http://www.cnblogs.c

转载 对级排序学习pairwise learning 偏好关系学习（RankBost）

转载自：Pairwise Leanrning - wentingtu - 博客园Pairwise Leanrning **************************************************************An Efficient Boosting Algorithm for Combining Prefere

转载 图模型推荐

推荐中的GRAPH MODEL - wentingtu - 博客园http://www.cnblogs.com/wentingtu/archive/2012/05/28/2521166.html应roger的要求，我在此总结一下graph model。推荐中对graph model的研究主要有两个方面，一个是如何构图，另一个是如何在图上做ranking。关于构图问题

原创 最大似然估计log likelihood

log likelihood——对数似然函数值在参数估计中有一类方法叫做“最大似然估计”,因为涉及到的估计函数往往是是指数型族,取对数后不影响它的单调性但会让计算过程变得简单,所以就采用了似然函数的对数,称“对数似然函数”.根据涉及的模型不同,对数函数会不尽相同,但是原理是一样的,都是从因变量的密度函数的到来,并涉及到对随机干扰项分布的假设.最大似然估计法的基本思想极大似然原理

原创 将数据集切分成“训练-测试数据集”和交叉验证

如何将数据集划分为测试数据集和训练数据集？把数据集分为两部分：分别用于训练和测试sklearn提供一个将数据集切分成训练集和测试集的函数。from sklearn.crose_validation import train_test_splitXd_train,Xd_test,y_train,y_test=train_test_split(X_d,y,random_state=14)

转载 libFM的使用

推荐系统学习04-LibMF - 风萧萧兮 - 博客频道 - youkuaiyun.comhttp://blog.youkuaiyun.com/chenkfkevin/article/details/51064292编译  在Ubuntu14.04上进行。环境需要g++4.6及以上。  将下载的压缩文件上传至Ubuntu，解压。  进入目录，输入“make”进行编译。

转载 生成libSVM的数据格式及使用方法总结

libFm的文本格式和libSVM的格式相同，所以研究了一下libSVM的格式生成libSVM的数据格式及使用方法总结 - Studying…… - 博客频道 - youkuaiyun.comhttp://blog.youkuaiyun.com/kobesdu/article/details/8944851首先介绍一下 libSVM的数据格式Label 1:value 2:value ….

转载 推荐系统源码

1. LibFM项目主页：http://www.libfm.org/2. Svdfeature项目主页：http://apex.sjtu.edu.cn/apex_wiki/svdfeature3. Libsvm和Liblinearlibsvm项目主页：http://www.csie.ntu.edu.tw/~cjlin/libsvm

原创 处理关系数据使用libFM块

英文博文：https://thierrysilbermann.wordpress.com/2015/09/17/deal-with-relational-data-using-libfm-with-blocks/train.libfm5 0:1 2:1 6:1 9:12.55 0:1 3:1 6:1 9:204 0:1 4:1 6:1 9:781 1:1,2

原创 one-hot编码

在实际的应用场景中，有非常多的特征不是连续的数值变量，而是某一些离散的类别。比如在广告系统中，用户的性别，用户的地址，用户的兴趣爱好等等一系列特征，都是一些分类值。这些特征一般都无法直接应用在需要进行数值型计算的算法里，比如CTR预估中最常用的LR。那针对这种情况最简单的处理方式是将不同的类别映射为一个整数，比如男性是0号特征，女性为1号特征。这种方式最大的优点就是简单粗暴，实现简单。那最大的问题

原创 libfm in python

https://github.com/coreylynch/pyFM这是一个 python 实现的分解机 [1]。使用自适应正则化作为一种学习方法，适应正规化训练模型参数时，自动使用随机梯度下降。详情，请参阅 [2]。从 libfm.org:"分解机 (FM) 是允许通过来模拟大多数分解模型的特征工程的泛型方法。这种方式，分解机"相结合特征工程概论凭借优势的分解模型估计的大域分类变量之

原创 LibFM使用手册中文版

英文版原文：http://www.libfm.org/libfm-1.42.manual.pdf自己翻译libFM 1.4.2 - 指南Steffen Rendle srendle@libfm.org http://www.libfm.org/  2014年9月14日内容

转载 特征工程——特征分类及不同类特征的处理方式

特征分类对特征进行分类，对于不同的特征应该有不同的处理方法。根据不同的分类方法，可以将特征分为(1)Low level特征和High level特征。Low level特征——较低级别的特征，主要是原始特征，不需要或者需要非常少的人工处理和干预。例如文本特征中的词向量特征，图像特征中的像素点，用户id，商品id等。Low level特征一般维度比较高，不能用过于

转载 特征工程——广告系统

原文地址：http://blog.youkuaiyun.com/mytestmy/article/details/19088827

转载 特征工程——推荐系统里的特征工程

原文：推荐系统里的特征工程个性化推荐系统 Personalized recommender system 比其他的机器学习方法更依赖特征工程，所以我拿它来当作问题的背景，结合我之前做过的一个推荐系统里相关经验来说说特征工程具体是个什么东西。利用特征功能提取这些“个性化”的特征放到推荐模型里就很重要，比如在我们的推荐系统里，把“品牌”的特征加进去，相对于 baseline 提高了20%左

转载 特征工程——categorical特征 和 continuous特征

看到有些介绍，“特征分为categorical特征 和 continuous特征“不解，查资料得单个原始特征（或称为变量）通常属于以下几类之一：连续（continuous）特征；无序类别（categorical）特征；有序类别（ordinal）特征。##连续特征 除了归一化（去中心，方差归一），不用做太多特殊处理，可以直接把连续特征扔到模型里使用。##无序特征

原创 雅虎研究院数据集汇总

介绍：雅虎研究院的数据集汇总： 包括语言类数据，图与社交类数据，评分与分类数据，计算广告学数据，图像数据，竞赛数据，以及系统类的数据。

转载 关于Kdd cup

原博：http://blog.youkuaiyun.com/cserchen/article/details/38398917还有其他类型kaggle上近一段时间数据挖掘竞赛的获奖队伍的源代码,对掌握相应的数据挖掘技术很有帮助1.Kaggle's Allstate Purchase Prediction Challenge，代码github排名2 ，排名10 排名36

转载 推荐系统开源软件列表汇总和点评

推荐系统开源软件列表汇总和点评 - 优快云 - 博客频道 - youkuaiyun.comhttp://blog.youkuaiyun.com/cserchen/article/details/14231153

转载 推荐算法工程

原文见：http://www.cnblogs.com/flclain/p/4211685.html总结归纳为：事实上搞推荐的工作不等于 import IBCF 或者 import time SVD++ import tensor啊做一个推荐系统，其问题在于几个方面：1.业务转化数学问题 2.数据特性定义active function 3.根据业务定义合理损失函数 4.损失函数求

原创 python语法基础-cPickle.dump使用

cPickle.dump使用

原创 python报错集锦

1.python WindowsError: [Error 3]2.python中绝对路径和相对路径问题3.WindowsError: [Error 183] : python

原创 python-加载数据集

python加载数据集

转载 推荐算法学习-推荐系统老司机的十条经验

推荐系统老司机的十条经验

原创 【问题】ValueError: numpy.dtype has the wrong size, try recompiling解决

python报错ValueError: numpy.dtype has the wrong size, try recompiling问题解决

转载 推荐算法学习-SVM，RSVM，ASVM，SVDPP学习公式推导

转载请声明出处http://blog.youkuaiyun.com/zhongkejingwang/article/details/43083603                              下面开始介绍SVD算法，假设存在以下user和item的数据矩阵：                                这是一个极其稀疏的矩阵，这里把这个评分

原创 推荐算法学习-资料整理

1.推荐系统经典论文文献及业界应用2.LRSLibrary 64个低秩+稀疏矩阵/张量分解的算法库 加长版49条 http://t.cn/R7eXvdJ3.一条广告含用户,广告和查询三种信息,可规约为多视角x=(x1,x2,x3). SVM拼接三者只建模一阶特征交互;STM将视角间的交互建模为张量忽略低阶交互;FM组合SVM和分解模型但不同阶的交互参数是独立的. MULTI

转载 数据挖掘学习-准备篇-python编辑

模块的导入：模块位置          把写的script1放在我们安装Python的位置：然后开始-运行-python：import script110. import，from 和 reload模块只可以导入一次            导入是一个开销很大的操作，以至于每个程序运行只可以导入一次。想再次运行除

原创 数据挖掘学习-准备篇-数据集

推荐系统数据集，数据挖掘数据集，机器学习数据集

原创 数据挖掘学习-准备篇-python基础

python科学计算1.使用python内置数据集from sklearn import datasetsiris = datasets.load_iris()>>> print(iris.data) [[ 0. 0. 5. ..., 0. 0. 0.] [ 0. 0. 0. ..., 10. 0. 0.] [