qjzcy的博客

目前中长尾推荐的方法有很多，主流的方法有几类比如:1)在没有项目ID嵌入的情况下提高推荐模型的鲁棒性，2)利用有限的交互数据提高学习效率，如使用元学习方法;3)利用物品侧面信息，便于物品ID嵌入的初始化，4）辅助数据引入，包括知识图谱网络，跨领域转换等等 在优化的过程中，结合自己的一些工作，感觉是不是也可以从一致性的角度的来考虑这个问题，这样的好处是有个统一的切分方式，那么看到哪块还不一致，是不是就可以作为一个未来的优化点？

深度学习离不开最基本的BP神经网络，这里把公式推一遍神经网络的核心在BP网络，其主要分为正向传播和方向传播两个过程。 正向传播过程 公式见图，14~17，从输入xi得到输出yo 反向传播过程， 反向传播主要是为了调整各传播层的W值 公式推导见图18~26 迭代过程 1、我们希望知道在每一个w向哪个方向调整才能减少误差，于是我们根据误差对w求偏导，偏导数的方向就是我们要调整的方向

深度学习的多gpu并行尝试——工作学习中的一点体会目录 一、 深度学习并行常用方法 二、 代码解析 三、 实验结果 四、 一些细节（一）并行常用方法： 一般有两种方法，一种是模型并行，另一种是数据并行。 模型并行： 由于bp网络的过程是个串行的过程，所以模型并行主要用在一个gpu的显存不能把所有的图结构都保存下来，于是我们把一个完整的网络切分成不同块放在不同gpu上执行，每个gp

利用lstm模型实现短文本主题相似——qjzcy的博客目录： 一、Rnn模型结构 二、LSTM模型的Topic应用方法 三、实验结果对比一、Rnn模型结构：这里是rnn模型的一个结构图，如图1 图1 Rnn网络能够把之前输入的信息往后传播，合适处理时序的数据，或者需要结合前后信息的数据。 Lstm是rnn的一个升级版本，本质上能更好的保存之前多级输入样本的特征二、LSTM

平常我们对分类的判断也是基于标题中的某些字，或者某些词性。比如《姚明篮球打的怎样》应该判别为体育，这时候“姚明”，“篮球”应该算对我们比较重要的词汇。词性我们关注点在“人名”和“名词”上面，深度学习的attention机制刚好符合这个特点。我们能不能利用attention机制来做分类呢，并且让注意力集中在我们期望的词上呢？先贴个结果， output是机器跑的分类结果，lable是人工打的分类结果。

我们的工作中经常遇到如何求两个句子的相似，比如如何判断搜索query和广告query的相似，搜索query和app的相似，再比如短文本相似的问答系统等等。有什么好的方法呢，这里是个人的一点总结吧。目录： 一、 先贴结果 二、 短文本相似常用的方法 三、主题模型的应用 四、 深度学习的模型搭建（一）老样子先贴结果吧，样本是处理后的搜索query和广告点击query，准确率在95%左右