Dby_freedom的博客

本博文旨在对序列建模中遇到的 Sequence 和 Session 做分析介绍。

在推荐系统场景中，关于用户兴趣特征的表征对于提升最终模型点击率预估具有重要意义，结合已有资料，于此文对目前主流用户特征表征方式进行一次梳理。

如何对推荐系统场景下的user做embedding以尽量保留用户更多行为偏好信息一致是业界重点探索方向，此处做一个现有方法汇总。

数据预处理作为算法工程师的基本功，其预处理往往需要结合数据、模型、训练目标等多方面要求，现整合目前现有资料，做一个总结，后续再陆续添加。

特征筛选作为一个老生常谈的问题，但自身一直缺乏一个较为完整的梳理，现结合现有资料，总结于此。

个人曾经也很多次思考过：高维稀疏特征的时候，LR 的效果会比 GBDT 好的原因，现查阅资料总结与此。

结合个人学习及网上参考资料，先将从数据集加载、预处理、建模流程总结如下，文中参考了很多现有资料，该文仅供自身学习与学术交流。

损失函数作为建模的一个重要环节，一个针对模型、数据集都合适的损失函数对于建模的好坏至关重要，现查询相关资料，将常见的分类、回归损失函数及常用的 Tensorflow 代码总结于此，仅用于学习交流。

一、协同过滤核心思想​ 要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐，而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。协同过滤一般是在海量的用户中发掘出一小部分和你品位比较类...

个人复习总结分类评价指标 ROC，AUC 时候，私以为 AUC 作为 CTR 预估常用离线评估指标，有着丰富的含义和特性，现对其含义、优缺点、用途、计算公式推导等做一个盘点。

逻辑回归是面试当中非常喜欢问到的一个机器学习算法，因为表面上看逻辑回归形式上很简单，很好掌握，但是一问起来就容易懵逼。所以在面试的时候给大家的第一个建议不要说自己精通逻辑回归，非常容易被问倒，从而减分。下面个人总结梳理下面试知识点。

最近在复习特征重要性时候，考虑到我们在使用GBDT、RF、Xgboost等树类模型建模时，往往可以通过 feature_importance 来返回特征重要性，下面收集整理了一下各模型输出特征重要性的原理与方法；

最近复习正则约束，考虑到从未本质上考虑过 L1 正则稀疏性问题，现查阅相关资料，总结整理如下：

1. 激活函数的定义与作用在人工神经网络中，神经元节点的激活函数定义了对神经元输出的映射，简单来说，神经元的输出（例如，全连接网络中就是输入向量与权重向量的内积再加上偏置项）经过激活函数处理后再作为输出。加拿大蒙特利尔大学的Bengio教授在 ICML 2016 的文章[1]中给出了激活函数的定义：激活函数是映射 h:R→R，且几乎处处可导。神经网络中激活函数的主要作用是提供网络的非线性建模能...

最近面试被问到这个问题，之前总是总是零星记得几条，现总结梳理如下。1. 从机器学习三要素的角度：1.1 模型本质上来说，他们都是监督学习，判别模型，直接对数据的分布建模，不尝试挖据隐含变量，这些方面是大体相同的。但是又因为一个是线性模型，一个是非线性模型，因此其具体模型的结构导致了VC维的不同：其中，Logistic Regression作为线性分类器，它的VC维是d+1，而 GBDT 作...

Boosting 集成算法中Adaboost、GBDT与XGBoost的区别所谓集成学习，是指构建多个分类器（弱分类器）对数据集进行预测，然后用某种策略将多个分类器预测的结果集成起来，作为最终预测结果。通俗比喻就是“三个臭皮匠赛过诸葛亮”，或一个公司董事会上的各董事投票决策，它要求每个弱分类器具备一定的“准确性”，分类器之间具备“差异性”。集成学习根据各个弱分类器之间有无依赖关系，分为Bo...

最近被面试问到如何评估 embedding 质量，之前没怎么思考过这个问题，现收集整理如下：1. 前言虽然目前word embedding的应用已经十分火热，但对其评价问题，即衡量该word embedding是好是坏，并没有非常完美的方案。实际上，评价其质量最好的方式就是以word embedding对于具体任务的实际收益（上线效果）为评价标准。但是若能找到一个合适的方案，可以在上线前对得到...

在回归腾信广告算法大赛时候向导这个问题，总结整理一下这个问题。1. LR+离散特征优势：在工业界，很少直接将连续值作为特征喂给逻辑回归模型，而是将连续特征离散化为一系列0、1特征交给逻辑回归模型，这样做的优势有以下几点：稀疏向量内积乘法运算速度快，计算结果方便存储，容易scalable（扩展）。离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，否则0。如果...

DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总结。1. 梯度消失与梯度爆炸我们设第一层卷积的参数为 (W1,b1)(W_1, b_1)(W1​,b1​)第二层卷积的参数是，(W2,b2)(W_2, b_2)(W2​,b2​)依次类推。又设激活函数为 fff，每一层卷积在经过激活函数前的值为 ，经aia_iai​过激活...

AdaBoost算法详解1. 提升方法的基本思想提升方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当（按照一定权重）的综合（例如线性组合加法模型）所得出的判断，要比其中任何一个专家单独的判断好历史上，Kearns和Valiant首先提出了“强可学习（strongly learnable）”和“弱可学习（weekly learnable）”的概念，指出在概率近似正...

集成学习与随机森林(Random Forest)个体与集成集成学习（ensemble learning）的一般结构：先产生一组“个体学习器”（individual learner），再用某种策略将他们结合起来，如下图所示，个体学习器通常由一个现有的学习算法从训练数据产生：只包含同种类型的个体学习器，这样的集成是“同质”的（homogeneous）。同质集成中的个体学习器亦称为...

决策树之ID3, C4.5与CART区别ID3决策树著名的ID3决策树以信息增益为准则来选择划分属性； 区别于C4.5决策树算法，C4.5决策树算法是以增益率(gain ratio)来选择最优划分属性 ID3名字中的ID是Iterative Dichotomser(迭代二分类器)的简称 “信息熵(information entropy)是度量样本集合纯度最常用的...

问题建模机器学习解决问题的通用流程：问题建模——特征工程——模型选择——模型融合其中问题建模主要包括：设定评估指标，选择样本，交叉验证解决一个机器学习问题都是从问题建模开始，首先需要收集问题的资料，深入理解问题，然后将问题抽象成机器可预测的问题。在这个过程中要明确业务指标和模型预测目标，根据预测目标选择适当指标用于模型评估。接着从原始数据中选择最相关的样本子集用于模型训练，并对样本子集...

本文的目的，是务实、简洁地盘点一番当前机器学习算法。文中内容结合了个人在查阅资料过程中收集到的前人总结，同时添加了部分自身总结，在这里，依据实际使用中的经验，将对此模型优缺点及选择详加讨论。主要回顾下几个常用算法的适应场景及其优缺点！机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我...

通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵这个顺序入手。 当然，也有多种解释方法...

Batchnorm原理详解 前言：Batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，可以说是目前深度网络必不可少的一部分。 本文旨在用通俗易懂的语言，对深度学习的常用算法–batchnorm的原理及其代码实现做一个详细的解读。本文主要包括以下几个部分。Batchnorm主要解决的问题Batchnorm原理解读Batchnorm的优点B

前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中，梯度消失爆炸的解决方案主要包括以下几个部分。- 预训练加微调- 梯度剪切、权重正则（针对梯度爆炸）- 使用不同的激活函数-

交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。

前言：我们学习一个算法总是要有个指标或者多个指标来衡量一下算的好不好，不同的机器学习问题就有了不同的努力目标，今天我们就来聊一聊回归意义下的损失函数、正则化的前世今生，从哪里来，到哪里去。一．L1、L2下的Lasso Regression和Ridge Regression对于机器学习，谈到正则化，首先映入脑...

http://blog.youkuaiyun.com/baimafujinji/article/details/77836142一、数学上的“嵌入”（Embedding） Embed这个词，英文的释义为, fix (an object) firmly and deeply in a surrounding mass, 也就是“嵌入”之意。例如：One of the bullets passed...

贝叶斯分类器贝叶斯公式公式：P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X) = \frac{P(X|Y)P(Y)}{P(X)}由联合概率公式推导而来： - P(Y,X)=P(Y|X)P(X)=P(X|Y)P(Y)P(Y,X)=P(Y|X)P(X)=P(X|Y)P(Y)P(Y,X)=P(Y|X)P(X)=P(X|Y)P(Y)...

深入浅出ML之Regression家族内容列表符号定义说明回归分析介绍线性回归模型回归模型与正则化 L2－RidgeL1－LassoGroup Lasso逻辑斯蒂回归符号定义这里定义《深入浅出ML》系列中涉及到的公式符号，如无特殊说明，符号含义均按下述定义解释： 符号 含义 xjxjx_j 第jjj维特征 xxx 一条样...