韦人人韦

Machine learning 本文仅为个人笔记，错误之处恳请批评指正。 —— David 这篇介绍不涉及任何公式推导，仅提供一些思路以及相应的资料，感兴趣的可以自行查找资料学习。书籍推荐理论类：机器学习，周志华；统计学习方法，李航；深度学习，Ian...

为知识付费：https://time.geekbang.org/column/intro/74本文仅为个人学习笔记。推荐系统：是一种信息过滤系统，预测用户（User）对物品（Item）的评分和偏好。推荐系统的问题模式分为评分预测和行为预测。评分预测假如用户消费完一个物品之后会给出一个打分，比如通常是 1~5分，那么我们要做的就是建立一个模型，利用用户历史上打过分的物品，预测用户对...

通俗来讲，它是一种二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。SVMSVM的目标函数基本型min12w2min \frac{1}{2}w^2min21​w2s.t.yi(wTxi+b)≥1,i=1,2,...,ms.t. y_i(w^Tx_i+b)\ge1, i=1,2,...,ms.t.yi​(wTxi​+...

决策树本质是一颗由多个判断节点组成的树。决策树算法的核心是通过对数据的学习，选定判断节点，构造一颗合适的决策树。树模型不需要做归一化：归一化的目的是为了加快梯度下降法的收敛速度，但是决策树模型不需要计算梯度树模型只考虑特征的划分界限，而不需要考虑特征的值范围决策树的关键是选择最优划分属性。一个属性会有多个取值，根据这个属性的不同取值将输入的数据划分为多个样本集合，一个取值...

线性回归用一组变量的（特征）的线性组合，来建立与结果之间的关系。模型表达：y(x,w)=w0+w1x1+...+wnxny(x,w)=w0+w1x1+...+wnxny(x, w)=w_0+w_1x_1+...+w_nx_n逻辑回归逻辑回归用于分类，而不是回归。在线性回归模型中，输出一般是连续的， 对于每一个输入的x，都有一个对应的输出y。因此模型的定义域和值域都可以是无穷...

L0范数，L1范数，L2范数L0范数是指向量中非0元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话（正则项），就是希望W的大部分元素都是0。换句话说，让参数W是稀疏的。L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）。为什么要稀疏？特征选择(Feature Selection)：稀疏规则化它能实现特征...

因子分解机 Factorization Machine因子分解机主要是考虑了特征之间的关联。FM主要是为了解决数据稀疏的情况下，（而SVM无法解决稀疏问题），特征怎样组合的问题。数据稀疏是指数据的维度很大，但是其中为0的维度很多。推荐系统是常见应用场景，原因是推荐系统中类别属性（如商品id）比较多，每一种类别属性经过onehot处理后会产生大量值为0的特征，导致样本变得稀疏，而FM就可...

显式反馈：用户对物品的评分，如电影评分隐式反馈：用户对物品的交互行为，如浏览，购买等，现实中绝大部分数据属于隐式反馈，可以从日志中获取。BPR是基于用户的隐式反馈，为用户提供物品的推荐，并且是直接对排序进行优化。定义UUU代表所有的用户user集合；III代表所有的物品item集合；SSS代表所有用户的隐式反馈，S⊆U×IS \subseteq U \times IS⊆U×I. 如下...