- 博客(23)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 faiss工具使用
faiss使用faiss是为稠密向量提供高效相似度搜索和聚类的框架。由Facebook AI Research研发。具有以下特性：1、提供多种检索方法2、速度快3、可存在内存和磁盘中4、C++实现，提供Python封装调用。5、大部分算法支持GPU实现下面，具体讲解了faiss常用的几种实现方法。import faissfrom faiss import normalize_L...
2019-10-24 15:07:26
4394
1
原创 推荐系统排序模型之FM
FM论文地址：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf1、FM背景在计算广告和推荐系统中，CTR预估(click-through rate)是非常重要的一个环节，判断一个商品的是否进行推荐需要根据CTR预估的点击率来进行。在进行CTR预估时，除了单特征外，往往要对特征进行组合。对于特征组合来说，业界现在通用的做法主要有...
2019-10-23 00:21:33
1362
原创 推荐系统排序模型之逻辑回归
简介逻辑回归虽然名字里面有回归，但是主要用来解决分类问题。逻辑回归输出是在线性回归的基础上，加上了Sigmoid激活函数后的结果。下面，我们首先了解下什么是线性回归。一、线性回归（Linear Regression）线性回归的表达式：f(x)=wTx+bf(x) = w^Tx + bf(x)=wTx+b线性回归对于给定的输入xxx，输出的是一个数值yyy ，因此它是一个解决回归问题的...
2019-10-22 17:19:33
3634
原创 推荐系统二分类任务之评价指标
推荐系统CTR预估之评价指标推荐系统二分类评价指标本文重点介绍推荐系统的二分类预估评价指标。二分类，即只有正样本和负样本两种情况。常用的评价指标有Precision，Recall，F1-score，AUC，Logloss，Normalized Logloss，Calicration等。其中，AUC是最常用，也是最重要的评价指标。下面，将对这些评价指标简单介绍。如果我们对一个样本进行分类，会...
2019-10-15 13:25:03
1422
转载 机器学习降维之LDA
转载：https://blog.youkuaiyun.com/liuweiyuxiang/article/details/78874106?utm_source=app介绍LDA，即线性判别分析（linear discriminant analysi），当然在NLP中，这个简写也常被认为是Latent Dirichlet allocation。LDA是一种常用的有监督降维手段，与之相对应的是PCA（无监督...
2019-10-11 20:26:35
692
转载 降维方法之PCA
转载知乎链接：https://zhuanlan.zhihu.com/p/21580949PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，常用于高维数据的降维。数据的向量表示及降维问题一般情况下，在数据挖掘和机器学习中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一...
2019-10-09 19:58:01
336
转载 推荐系统召回之itemCF
基于物品的协同过滤算法itemCF基本思想该算法向用户推荐与他们之间喜欢的物品相似的其它物品，例如，如果你购买过《数据挖掘导论》，会向你推荐《机器学习》。itemCF算法通过计算用户的历史行为记录，来分析物品之间的相似度：如果喜欢物品a的用户大多数也喜欢物品b，那么认为物品A与物品B具有一定的相似度。这就很容易为推荐结果做出合理的解释。假设，N(a)N(a)N(a)和N(b)N(b)N(b...
2019-10-08 19:41:59
2073
转载 推荐系统召回之userCF
基于用户的协同过滤算法userCF1.1 相似度计算通过计算用户之间的相似度。这里的相似度指的是两个用户的兴趣相似度。假设对于用户uuu和vvv，N(u)N(u)N(u)指的是用户uuu喜欢的物品集合，N(v)N(v)N(v)指的是用户vvv喜欢的物品集合，可以通过Jaccard公式计算uuu和vvv的相似度：Wuv=∣N(u)∣⋂∣N(v)∣∣N(u)∣⋃∣N(v)∣W_{uv} = ...
2019-10-08 17:37:10
415
原创 线性代数矩阵名词
线性代数矩阵名词整理：转置矩阵A=[a11a12a13a21a22a23a31a32a33]A = \left [ \begin{matrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \\ \end{ma...
2019-09-30 17:14:41
521
原创 推荐系统召回之item2vec召回
该召回手段，是基于google提出的word2vec方法，来计算不同items的隐向量，并通过计算不同items间的向量距离，来判断item-to-item间的相似度。参考paper如下：https://arxiv.org/vc/arxiv/papers/1603/1603.04259v2.pdf综述许多协作过滤（CF）算法是通过分析items间的关系来计算相似度的。最近，自然语言处理方面...
2019-09-29 15:47:41
2613
原创 推荐系统召回之热门召回
所谓召回，是指从上百千万的商品中，粗排出几百上千的商品，供打分模型精排。热门召回是其中最简单的一种召回方式。具体实现流程如下：统计出指定时间窗口的商品的曝光量，点击量，从而计算出曝光点击比，即CTR，根据ctr大小作为热门程度的量化指标；当然也可以参考其它指标，如下载展示比，播放展示比等等；可以从所有商品中，按照CTR排序，选出topK个，作为召回结果；也可以根据商品的标签信息，按标签g...
2019-09-26 16:54:32
1539
原创 点击率(CTR)平滑手段
原文链接：https://blog.youkuaiyun.com/jinping_shi/article/details/78334362以商品的点击率预测为例：CTR的值等于点击量除以曝光量，公式如下：r=clickshow r = \frac {click} {show} r=showclick但在实际应用中会碰到两个问题：新商品点击率的预测与计算对于新上线的商品，其曝光为0，...
2019-09-26 16:21:24
3178
原创 神经网络训练中的梯度消失和梯度爆炸问题
梯度消失和梯度爆炸梯度消失的具体表现是，接近于输出层的权值更新相对正常，但是接近于输入层的权值基本不更新，或更新的非常慢。这样，深度网络的学习就等价于只有后几层的浅层网络的学习了。梯度爆炸的具体的表现是，越远离输出层的隐藏层，其权值越大，由于会大幅度的更新网络参数，进而导致网络不稳定，最终无法收敛，或者权重值溢出，即输出值为NaN，而无法再更新权重。产生的原因梯度消失和梯度爆炸是由于神经网...
2019-09-16 17:47:22
2033
原创 推荐系统u2i召回之als召回
基本思路als(alternative least square)，即交替最小二乘法，是用于计算损失函数最小化的一种方法，当然更为熟知的还有随机梯度下降法。再正式介绍als之前，需要先引入矩阵分解的思想。假定已有user对item的评分矩阵RRR，希望通过矩阵分解来预测user对其它item的评分，可以通过构造两个矩阵PPP和QQQ，使得，R~=PQT\tilde{R} = PQ^TR...
2019-09-16 16:18:45
2895
原创 推荐系统itoi召回之swing召回
swing算法基本原理swing指的是秋千，例如用户u和用户v，都购买过同一件商品IiI_iIi，则三者之间会构成一个类似秋千的关系图。若用户u和用户v之间除了购买过IiI_{i}Ii外，还购买过商品IjI_{j}Ij，则认为两件商品是具有某种程度上的相似的。也就是说，商品与商品之间的相似关系，是通过用户关系来传递的。为了衡量物品 i 和 j 的相似性，考察都购买了物品 i 和 j...
2019-09-14 13:21:55
7145
3
转载 Oracle11g客户端安装与配置
Oracle11g客户端安装与配置Oracle客户端安装时，提供了InstantClient（即时客户端）、管理员、运行时和定制四种类型。InstantClient体积小巧，若仅是常规的SQL操作，安装该模式即可。管理员模式可安装管理控制台、管理工具、联网服务和基本客户端软件，体积较为庞大，但配置可通过界面化工具即可完成，较为简单。Oracle Instant Client的安装与配置...
2019-09-03 00:40:05
230
原创 二叉搜索树原理及实现
二叉搜索树原理及实现二叉搜索树性质查找插入(创建)删除前序遍历中序遍历后序遍历二叉搜索树性质若任意节点的左子树不为空，则左子树的所有节点值均小于根节点的值；若任意节点的右子树不为空，则右子树的所有节点值均大于跟节点的值；任意节点的左、右子树也分别为二叉查找树；没有键值相等的节点。通常采用二叉链表作为二叉查找树的存储结构： struct BiTree { int ...
2019-09-03 00:14:31
386
原创 linux下安装jansson
安装步骤如下：wget http://www.digip.org/jansson/releases/jansson-1.0.1.tar.bz2tar -xvf jansson-1.0.1.tar.bz2cd jansson-1.0.1/./configuremakemake install
2019-09-02 21:09:33
1626
原创 linux下安装grpc
步骤1. 下载GitHub源码git clone https://github.com/grpc/grpc.gitcd grpc步骤2. 更新第三方源码git submodule update --init步骤3. 编译并安装makemake install大功告成！...
2019-09-02 20:52:15
4189
2
原创 安装protobuf 3.6.1(redhat/centos)
步骤 1: 先决条件yum -y install gcc gcc-c++ automake autoconf libtool make 步骤 2: 安装protobuf 3.6.1wgethttps://github.com/google/protobuf/releases/download/v3.6.1/protobuf-all-3.6.1.tar.gztar zxvf ...
2019-09-02 20:29:33
979
翻译 ubuntu 16.10安装Gradle-5.0
在这篇向导中，我们将安装当前的最新版本gradle-5.0到ubuntu16.10中。先决条件Ubuntu 16.10 服务器sudo权限角色步骤 1: 更新系统执行如下命令：sudo apt-get updatesudo apt-get -y upgrade步骤 2: 安装java-jdkGradle需要JDK 7 或者更高版本，才能正常运行。本篇引导中，我们安装了JDK...
2018-12-25 20:12:02
1508
原创 Mac安装和卸载HomeBrew
由于很久没有使用homebrew，使用brew update命令，不能完成更新。无奈只能卸载，重新安装。卸载命令：/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/uninstall)"安装命令：/usr/bin/ruby -e "$(curl -fsSL ht...
2018-12-25 10:51:00
803
转载 How to define Gradle's home in IDEA?
How to define Gradle’s home in IDEA?installed on a Mac via Homebrew, the path will be/usr/local/opt/gradle/libexecis preferable to/usr/local/Cellar/gradle/X.X/libexecsince the former will survi...
2018-12-25 10:45:49
121
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人