公众号：瑞行AI

item-based CF给用户推荐那些和他们之前喜欢的物品相似的物品。item-based CF并不是利用物品的内容属性计算物品之间的相似度，主要是通过分析用户的行为记录计算物品间的相似度。算法步骤（1）计算物品之间的相似度（2）根据物品的相似度和用户的历史行为，给用户生成推荐列表wij=∣N(i)∩N(j)∣∣N(i)∣w_{ij}=\frac{|N(i)\cap N(j)|}{|N...

超参数优化&模型参数

section 1拒绝采样最关键的部分，搞个矩形、向矩形里投点等等，所做的一切都是为了获得一个密度曲线所围成区域的均匀分布。只要能获得这样一个在密度曲线下满足均匀分布的样本，我们就可以获得与该密度曲线相匹配的随机变量的采样样本。方法是，只需把每个蓝点的横坐标提取出来，这些横坐标所构成的样本就是我们的目标样本。step1：用一个矩形将这个密度曲线套起来，把密度曲线 框在一个矩形里。step2：向矩形里随机投点10000次(虚值)。随机投点意味着在矩形这块区域内，这些点是满足均匀分布的。step3：有

为脑残的面试问题而生，哈哈~（1）LR为什么不可以用MSE作为损失函数MSE 会有梯度消失现象MSE 的导数非凸函数，求解最优解困难

word2vec和BERT，都是语言表示中的里程碑式的工作，前者是词嵌入范式的代表，后者是预训练范式的代表。一个好的语言表示 除了建模一词多义现象以外，还需要体现词的复杂特性，包括语法、语义等。word2vec由“词的分布式表示假设(一个单词的意思 由频繁出现在该词 上下文的词 给出)”出发，最终得到一个look-up table，每个单词被映射到唯一一个稠密向量上。静态词表示，不考虑上下文，无法处理一词多义问题。BERT使用Transformer(中的编码器)作为特征抽取器，配合MLM这样的降噪

缺失值场景（1）在各列特征都有缺失值时，选择哪列特征去当前划分分支？（2）选定划分分支的特征后，如果某样本在该特征上取值缺失，该把这个样本划分到哪个分支？一些数学原理特征aaa的VVV个取值{a1,a2,...,aV}\{a^1, a^2, ..., a^V\}{a1,a2,...,aV}样本子集D~\tilde{D}D~中，属于第kkk类(k=1,2,...,N)(k=1,2,...,N)(k=1,2,...,N)的子集为D~k\tilde{D}_kD~k​=> D~=⋃k=1ND~k=

问题背景机器学习建模分类问题里，各个类别样本量差异较大时，就会出现类别不均衡问题。e.g.如果有99999个无症状病例，1个有症状病例，即使训练的学习器将所有样本识别成无症状病例，准确率也高达99.9%；但是这样的学习器没有任何价值，无任何鉴别有症状病例的价值。常用类别均衡方法以下假设正例样本数远小于负例样本数：（1）欠采样欠采样的代表做法是利用集成学习机制，将反例划分成若干个集合 供不同学习器使用。（2）过采样过采样不能简单地对正例样本进行重复采样，否则会导致严重的过拟合。过采样的代表性算法

NDCG的目标：希望得到的排序列表，质量越高越好。并且，如果将更相关的排到更前面，那么计算得到的NDCG是会越高的。希望top10的排序准确度，要比bottom10的排序准确度重要。对于这种加权排序，NDCG会更加合适。参考：https://www.jianshu.com/p/51ad13e14e0bhttps://zhuanlan.zhihu.com/p/84206752...

在一个自编码器中，由于只有无标签数据，将输入信息(Input)输入到一个编码器(encoder)，就会得到一个编码(code)，之后再通过一个解码器(decoder)，就会得到一个输出信息(output)。如果这个“输出信息”和原始的“输入信号”是一样的，我们就有理由相信，中间得到的编码code是输入信息input的另外一个表示。通过调整编码器和解码器中的参数，来最小化重构误差，此时就可以得到编码code。

概率统计： 样本空间：一个随机试验（或随机事件）所有可能结果的集合 样本点：随机试验中的每个可能结果 随机变量：本质上是一个实值函数映射，即为每一个实验的结果映射为一个数值。注意区别“随机变量”的定义与“随机变量取值的概率”的定义. Eg:在抛一枚均匀的硬币过程中，将正面映射为1，反面映射为0，则随机变量X的定义为X(正面)=1，X(反面)=0。此

前馈神经网络通常用许多不同函数复合在一起来表示。例如，我们有三个函数 f (1); f (2) 和 f (3) 连接在一个链上以形成f(x) = f (3)(f (2)(f (1)(x)))。f (1) 被称为网络的 第一层（first layer）， f (2) 被称为 第二层（second layer），以此类推，最后一层被称为输出层（output layer）。链的全长称为模型的 深度（d...

本文是周志华《机器学习》第九章的学习笔记。“无监督学习”通过对无标记训练样本的学习来揭示数据的内在性质及规律。通常，“无监督学习”包含的任务类型有“聚类”、“密度估计”、“异常检测”等，下述将主要对“聚类”进行讨论。“聚类”任务可以作为一个单独过程，也可以作为分类等其他学习任务的前去过程，即根据聚类结果将每个“簇”定义为一个“类”，然后基于这些类训练分类模型。 “聚类”任务中使用的样本可...

https://github.com/dmlc/xgboost/blob/master/doc/model.md#additive-trainingAdditive TrainingFirst thing we want to ask is what are the parameters of trees? You can find that what we need to learn...

本文是《统计学习方法》李航著学习笔记。 为了叙述方便，将conditional random field简称CRF。

本文是周志华《机器学习》第二章的学习笔记。衡量指标错误率error_rate=分类错误的样本数/样本总数；精度accuracy=1-错误率。训练误差：学习器在训练集上的误差；泛化误差：学习器在新样本上的误差。过拟合：把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，模型的泛化性能下降；欠拟合：对训练样本的一般性质尚未学好。模型训练(train/validat...

CNN网络基本结构：输入层 —— [卷积层 —— pooling池化层]_i —— 全连接层_j —— 目标分类维度按一个样本计算：7*7*3的一个图像样本，用一个3*3*3的卷积核，step=1，最后会生成一个5*5*1的图像(逐点相乘、3个通道相加)。一个卷积核对应最后的一幅输出图像，可以同时选多个卷积核(卷积核通道数 必须和图像通道数 相同)；激活函数直接用在卷积层后的输出图像上。输出维度：（图像某一方向维度 - 卷积核对应该方向维度）/步长 - 1卷积核：（1）为什么卷积核和矩阵做点对点

本文是《统计学习方法》李航著学习笔记。感知机是二类分类的线性分类模型，输入：实例的特征向量，输出：实例的类别。感知机学习：求将训练数据进行线性划分的分离超平面，即将实例化分为正负两类的分离超平面。数据集的线性可分性：感知机模型：损失函数：目标函数（算法优化目标，学习目标）：这是一个无约束优化问题，优化方法采用随机梯度下降法。即给定任一参数初值，然后用梯度下降法极小化目标函数，一次随机选取一个误分类...

本文是《统计学习方法》李航著学习笔记。

本文是《统计学习方法》李航著学习笔记。

本文是《统计学习方法》李航著学习笔记。

本文是《统计学习方法》李航著学习笔记。 为了叙述方便，将logistic regression mode简称LR，maximum entropy mode简称ME。LR和ME都是判别模型，即将预测实例点分配到“条件概率分布”最大的类中。下述讨论会着重于LR模型和ME模型的学习过程。 逻辑斯谛函数： l(x)=11+e−(x−μ)/γ，μ为位置参数，γ>0为形状参数l(x)=\frac{1}{1

本文是《统计学习方法》李航著学习笔记。

本文是《统计学习方法》李航著学习笔记。 为了叙述方便，将support vector machines简称SVM。SVM是一种二类分类模型，利用SVM对预测实例点进行分类就是根据决策函数的符号划归正负类，下面论述过程主要是有关SVM的模型学习过程。通常针对三种情况构建SVM学习模型： 1.）对线性可分数据集，构建硬间隔最大化的线性可分支持向量机 2.）对存在一些特异点的近似线性可分数据集，构建

本文是《统计学习方法》李航著学习笔记。 为了叙述方便，将hidden Markov model简称HMM。HMM是一种用于标注问题的生存模型，模型工作过程：“隐藏的马尔科夫链”随机生成“不可观测的状态序列”，“每个状态”生成“一个观测”，从而得“观测序列”。在标注问题中，给定“最终的观测序列”，预测其对应的“状态序列”，也称为“标记序列”。可以把整个过程想象成一个网络层，各个状态点和观测点表示网

本文是《统计学习方法》李航著学习笔记。决策树是一种基本的分类与回归方法，这里主要讨论用于分类问题的决策树。

深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。入门级必从SGD学起，老司机则会告诉你更好的还有AdaGrad/AdaDelta，或者直接无脑用Adam。可是看看学术界的最新paper，却发现一众大神还在用着入门级的SGD，最多加个Moment或者Nesterov ，还经常会黑一下Adam。优化算法框架SGD with Momentum为了抑制.

激活函数激活函数的主要作用是提供网络的非线性建模能力，分层的非线性映射学习能力。几乎所有的连续可导函数都可以用作激活函数，但目前常见的多是分段线性和具有指数形状的非线性函数。sigmoidsigmoid(x)=11+e−x,sigmoid′(x)=sigmoid(x)(1−sigmoid(x))sigmoid(x)=\frac{1}{1+e^{-x}},sigmoid^{'}(x)=sigmoid(x)(1-sigmoid(x))sigmoid(x)=1+e−x1​,sigmoid′(x)=sigm

深度学习神经网络算法发展顺序RNN处理的是一种时间序列数据，它处理的问题中，前后数据间不是互相独立的，前一次决策会影响后一次决策RNN可以保持序列的“记忆”信息，通过之前的信息决策当前的问题看了上图对RNN根本没什么理解，今天读到了七月一篇RNN文章，解释非常到位，地址如下：https://mp.weixin.qq.com/s?__biz=MzI4MTQ2NjU5NA==&mid=2247...