u012762419的博客

FM模型的主要应用场景是点击率预估，目的是在数据高维稀疏的情况下，解决特征的组合问题。造成数据稀疏高维的原因：主要是由于ID类特征和one-hot编码以及特征之间的相互交叉引起的。以笔者所在的某安全公司的商业化业务线展示广告业务为例：主要业务是展示广告的排序，提取的特征包括tag类硬编码特征，实际就是ID类特征，维度大概在100万左右，头部tag大概集中在5万左右；还包括渠道特征，大概在500...

我说一下自己的理解。参考https://stats.stackexchange.com/questions/317073/explanation-of-min-child-weight-in-xgboost-algorithm1、对于回归问题，假设损失函数是均方误差函数，每个样本的二阶导数是一个常数，这个时候 min_child_weight就是这个叶子结点中样本的数目。如果这个值设置的太小，那...

广告ctr预估中的几个问题最近在做展示广告ctr预估相关的工作，抽空梳理几个问题，现在不一定有答案，先mark一下衡量预估好坏的指标有哪些？目前我们使用的是AUC和COPC。AUC很好理解，就是衡量广告排序好坏的指标，月接近1越好。COPC这个指标旨在展示广告上应用多一些，其他场景应用不多，全称 click over predicted click，主要衡量model整体预估的偏高和偏...

TextCNN网络是2014年提出的用来做文本分类的卷积神经网络，由于其结构简单、效果好，在文本分类、推荐等NLP领域应用广泛，我自己在工作中也有探索其在实际当中的应用，今天总结一下。TextCNN的网络结构数据预处理再将TextCNN网络的具体结构之前，先讲一下TextCNN处理的是什么样的数据以及需要什么样的数据输入格式。假设现在有一个文本分类的任务，我们需要对一段文本进行...

看过很多关于dropout方面的博客，但是感觉写太一般，不能达到我想要的水平，所以决定自己写一下。1.dropout解决的问题深度神经网络的训练是一件非常困难的事，涉及到很多因素，比如损失函数的非凸性导致的局部最优值、计算过程中的数值稳定性、训练过程中的过拟合等。其中，过拟合是很容易发生的现象，也是在训练DNN中必须要解决的问题。过拟合我们先来讲一下什么事“过拟合”。过拟合...

模型结构CBOW模型，中文译为“连续词袋模型”，完成的任务是给定中心词  的一定邻域半径（比如半径为2，通常成为windows，窗口，这里窗口的大小为5）内的单词 ，预测输出单词为该中心词  的概率，由于没有考虑词之间的顺序，所以称为词袋模型。论文中给出的CBOW模型的结构如下图：在上面的结构示意图中，符号w(t-1)，w(t-2)，w(t+1)，w(t+2) 表示输入的单词，实际是一个one-h...

"纸上得来终觉浅，绝知此事要躬行"。最近在工作中用到逻辑回归(LR)做分类，使用的是sklearn中现成的算法包。在这个过程中遇到一些问题，激发了我对sklearn源码的解读，由此对逻辑回归有了更进一步的理解，对之前留下的一些坑也有了重新的认识。该博文先从线性回归讲起，让后过渡到LR，最后对sklearn中实现LR的源代码做一些说明。这里需要说明两点：第一：很多资料都讲到LR本质上是线性回