qjzcy的博客

前言：最近和业界同事交流，大家都发现搜广推做到一定程度优化越来越难，一招就能普遍提升的大招越来越难找，推荐何去何从？上期写了个冷启动的一致性，从中得到启发，其实推荐过程中，也可以借鉴一下这个思路，从各个环节去考虑我们系统中的一致性，还是有不少优化点。现在推荐已经过了那个蛮荒的年代，既然已经很难仅通过某个模块环节就找到能整体提升的优化点，我们可以扫视一下我们系统中的一致性，是否在过去的优化中对某些模块，领域存在着忽略，缺少整体的一致性的考虑，还是有不少优化点，可以继续提升我们推荐优化的效果。

目前中长尾推荐的方法有很多，主流的方法有几类比如:1)在没有项目ID嵌入的情况下提高推荐模型的鲁棒性，2)利用有限的交互数据提高学习效率，如使用元学习方法;3)利用物品侧面信息，便于物品ID嵌入的初始化，4）辅助数据引入，包括知识图谱网络，跨领域转换等等 在优化的过程中，结合自己的一些工作，感觉是不是也可以从一致性的角度的来考虑这个问题，这样的好处是有个统一的切分方式，那么看到哪块还不一致，是不是就可以作为一个未来的优化点？

我们的工作中经常遇到如何求两个句子的相似，比如如何判断搜索query和广告query的相似，搜索query和app的相似，再比如短文本相似的问答系统等等。有什么好的方法呢，这里是个人的一点总结吧。目录： 一、 先贴结果 二、 短文本相似常用的方法 三、主题模型的应用 四、 深度学习的模型搭建（一）老样子先贴结果吧，样本是处理后的搜索query和广告点击query，准确率在95%左右

平常我们对分类的判断也是基于标题中的某些字，或者某些词性。比如《姚明篮球打的怎样》应该判别为体育，这时候“姚明”，“篮球”应该算对我们比较重要的词汇。词性我们关注点在“人名”和“名词”上面，深度学习的attention机制刚好符合这个特点。我们能不能利用attention机制来做分类呢，并且让注意力集中在我们期望的词上呢？先贴个结果， output是机器跑的分类结果，lable是人工打的分类结果。

语义相关app搜索(二) 论短文本相似——qjzcy的博客App相似，其实是短文本相似的一种，如何在词和文本重合之外找到两个短语的相似呢？这里对我工作中用到短文本相似方法做个归纳，大概有这么几种方法 1、 Session相关法 2、 句子向量法 3、 多级的跳转法 4、 算法模型法分别举例子吧 一、Session相关法 思路是用户在一个会话中替换的词基本会有某些语义相关，那么我们

利用lstm模型实现短文本主题相似——qjzcy的博客目录： 一、Rnn模型结构 二、LSTM模型的Topic应用方法 三、实验结果对比一、Rnn模型结构：这里是rnn模型的一个结构图，如图1 图1 Rnn网络能够把之前输入的信息往后传播，合适处理时序的数据，或者需要结合前后信息的数据。 Lstm是rnn的一个升级版本，本质上能更好的保存之前多级输入样本的特征二、LSTM

工作学习中的一点体会——语义相关app搜索

之前做的一款基于语义的app搜索，当时公司希望做一款不仅仅能根据一般文本重合，而且能通过语义上的相关找到更好的推荐app，这里分享一下开发的过程和心得 —————————————————————————————————————————————————————————————————————————— 目录： 一、基础特征的选择 二、特征的组合和特征的离散化 三、训练样本的获取 四、排序样

梯度下降和牛顿迭代数值优化会经常遇到。网上搜了搜发现各大神已经总结的非常完美了。自己就手动推一遍牛顿迭代的公式好了，当作复习。 梯度下降和牛顿迭代主要做的事情就两步 1、 找到搜索的方向， 2、 迭代的步长引子： 我们很多问题最后都会归结到要寻找一个凸函数的极值点，比如： 那么怎么才能找到极值点？ 我们先拿一个一维的曲线来举例，怎么找到极值点 首先我们所学的高等数学告诉我们导数为0

导读：一、 非线性规划 二、 求熵值最大化 三、 2个限制条件 四、 拉格朗日方程 五、 对偶表达式 六、 数值优化条件随机场一、 非线性规划 其实整个公式基本上就是非线性规划的经典流程，有兴趣大家可以看看非线性规划，有助于理解，没有直接跳过也可以，非线性规划的流程图我帮大家拉到这儿，大家可以对照着看看对应流程是怎么走的 非线性规划： http://blog.c

非线性规划流程总图： 定义： 如果目标函数或者约束条件中至少有一个是非线性函数时的最优化问题叫非线性规划问题。 比如目标函数是 f(x)=kx+b x>9 线性规划 f(x)=xlogx x>9 非线性规划线性规划 高中内容就不说了非线性规划 非线性规

工作学习中的一点体会——NDCG 指标NDCG（Normalized discounted cumulative gain）值是我们经常用到的一个rank指标，这里写一下我对NDCG值的一点理解 ————————————————————————————————————— 目录： 一、如何判断一个rank结果的好坏 二、公式 三、公式的理解 ————————————————————————

熵（一）——工作学习中的一点体会最近在做一个广告重点词的项目，用到了最大熵做特征，感觉这个概念经常被用到，比如最大熵隐马，条件随机场，都有涉及，这里总结一下。目录： 一、含义 二、公式 三、公式理解 四、小应用 五、最大熵模型一、 含义 熵是一个算法经常用到的概念，通俗来说就是越平均熵越大，并且世界一定是趋向于熵最大。比如冰火在一起，一定是趋于平均温度。有钱人和没钱人在一起？为什么

隐马尔科夫模型的一点学习总结

MCMC（马尔科夫蒙特卡洛） 导读： 一、 开开脑洞 二、 平稳细致条件 三、 吉布斯抽样————————————————————————我特别喜欢这个算法，常常让我脑洞大开。在这里胡扯一下，大家见笑 这个算法大致的描述为：无论初始状态如何，经过有限的迭代后，会趋于稳定，稳定后的状态分布只和转换矩阵相关。 这里面有三个重点： 1、 和初始状态无关 2、 满足条件，就一定会趋

深度学习离不开最基本的BP神经网络，这里把公式推一遍神经网络的核心在BP网络，其主要分为正向传播和方向传播两个过程。 正向传播过程 公式见图，14~17，从输入xi得到输出yo 反向传播过程， 反向传播主要是为了调整各传播层的W值 公式推导见图18~26 迭代过程 1、我们希望知道在每一个w向哪个方向调整才能减少误差，于是我们根据误差对w求偏导，偏导数的方向就是我们要调整的方向