qjzcy的博客

MCMC（马尔科夫蒙特卡洛） 导读： 一、 开开脑洞 二、 平稳细致条件 三、 吉布斯抽样————————————————————————我特别喜欢这个算法，常常让我脑洞大开。在这里胡扯一下，大家见笑 这个算法大致的描述为：无论初始状态如何，经过有限的迭代后，会趋于稳定，稳定后的状态分布只和转换矩阵相关。 这里面有三个重点： 1、 和初始状态无关 2、 满足条件，就一定会趋

平常我们对分类的判断也是基于标题中的某些字，或者某些词性。比如《姚明篮球打的怎样》应该判别为体育，这时候“姚明”，“篮球”应该算对我们比较重要的词汇。词性我们关注点在“人名”和“名词”上面，深度学习的attention机制刚好符合这个特点。我们能不能利用attention机制来做分类呢，并且让注意力集中在我们期望的词上呢？先贴个结果， output是机器跑的分类结果，lable是人工打的分类结果。

语义相关app搜索(二) 论短文本相似——qjzcy的博客App相似，其实是短文本相似的一种，如何在词和文本重合之外找到两个短语的相似呢？这里对我工作中用到短文本相似方法做个归纳，大概有这么几种方法 1、 Session相关法 2、 句子向量法 3、 多级的跳转法 4、 算法模型法分别举例子吧 一、Session相关法 思路是用户在一个会话中替换的词基本会有某些语义相关，那么我们

利用lstm模型实现短文本主题相似——qjzcy的博客目录： 一、Rnn模型结构 二、LSTM模型的Topic应用方法 三、实验结果对比一、Rnn模型结构：这里是rnn模型的一个结构图，如图1 图1 Rnn网络能够把之前输入的信息往后传播，合适处理时序的数据，或者需要结合前后信息的数据。 Lstm是rnn的一个升级版本，本质上能更好的保存之前多级输入样本的特征二、LSTM

工作学习中的一点体会——语义相关app搜索

之前做的一款基于语义的app搜索，当时公司希望做一款不仅仅能根据一般文本重合，而且能通过语义上的相关找到更好的推荐app，这里分享一下开发的过程和心得 —————————————————————————————————————————————————————————————————————————— 目录： 一、基础特征的选择 二、特征的组合和特征的离散化 三、训练样本的获取 四、排序样

导读：一、 非线性规划 二、 求熵值最大化 三、 2个限制条件 四、 拉格朗日方程 五、 对偶表达式 六、 数值优化条件随机场一、 非线性规划 其实整个公式基本上就是非线性规划的经典流程，有兴趣大家可以看看非线性规划，有助于理解，没有直接跳过也可以，非线性规划的流程图我帮大家拉到这儿，大家可以对照着看看对应流程是怎么走的 非线性规划： http://blog.c

工作学习中的一点体会——NDCG 指标NDCG（Normalized discounted cumulative gain）值是我们经常用到的一个rank指标，这里写一下我对NDCG值的一点理解 ————————————————————————————————————— 目录： 一、如何判断一个rank结果的好坏 二、公式 三、公式的理解 ————————————————————————

熵（一）——工作学习中的一点体会最近在做一个广告重点词的项目，用到了最大熵做特征，感觉这个概念经常被用到，比如最大熵隐马，条件随机场，都有涉及，这里总结一下。目录： 一、含义 二、公式 三、公式理解 四、小应用 五、最大熵模型一、 含义 熵是一个算法经常用到的概念，通俗来说就是越平均熵越大，并且世界一定是趋向于熵最大。比如冰火在一起，一定是趋于平均温度。有钱人和没钱人在一起？为什么

隐马尔科夫模型的一点学习总结

我们的工作中经常遇到如何求两个句子的相似，比如如何判断搜索query和广告query的相似，搜索query和app的相似，再比如短文本相似的问答系统等等。有什么好的方法呢，这里是个人的一点总结吧。目录： 一、 先贴结果 二、 短文本相似常用的方法 三、主题模型的应用 四、 深度学习的模型搭建（一）老样子先贴结果吧，样本是处理后的搜索query和广告点击query，准确率在95%左右