推荐系统入门学习笔记

最新推荐文章于 2024-04-22 20:29:29 发布

原创最新推荐文章于 2024-04-22 20:29:29 发布 · 254 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #笔记 #大数据

本文围绕推荐系统和机器学习展开。介绍推荐系统目的、思想、分类及评测指标，涵盖基于人口、内容、协同过滤等推荐算法。还阐述机器学习数学基础，包括矩阵、导数等知识，以及监督学习、无监督学习的多种算法，如KNN、逻辑斯谛回归、k均值等。

函数抹一点在某一趋近方向上的导数值
方向导数就是函数在除坐标轴正方向外，其他特定方向的变化率

梯度

梯度是一个向量，它的防线与取得最大方向导数的方向一致，它的模为方向导数的最大值

凸函数和凹函数

常用统计变量

样本均值
样本方差
样本标准差

常用概率分布

均匀分布
正态分布
指数分布

重要概率公式

条件概率
全概率公式
贝叶斯公式

机器学习

无监督学习
有监督学习
强化学习

监督学习

监督学习算法Supervised Learning

构建了包含输入和所需输出的一组数据的数学模型
监督学习三要素
- 模型：总结数据的内在规律，用数学函数描述的系统
- 策略：选取最优模型的评价准则：什么样的模型最好？
- 算法：选取最优模型的具体算法：求解最优模型
监督学习实现步骤

得到一个有限的训练数据集
确定学习策略
实现学习算法
通过学习算法选择最优模型
预测分析

模型评估

训练集和测试集

用来训练模型的数据称为训练集，用来测试模型好坏的集合称为测试集

损失函数

衡量模型预测误差的大小

自变量：模型中的系数

定义：预测值f(x)与真实值Y的偏差程度

0-1损失函数

非黑即白
平分损失函数
绝对损失函数
对数损失函数
经验风险

f(x)关于训练数据集的平均损失， $R_emp$
经验风险最小化ERM

经验风险最小的模型就是最优的模型

缺陷：样本过小时

训练误差

关于训练集的平均损失

但是训练误差可以用来判断是否容易学习

本质上不重要

测试误差

关于测试集的平均损失

测试误差真正反映了模型对未知数据的预测能力，

称为泛化能力

欠拟合

模型没有很好地捕捉到数据特征，特征集过小
本质：对数据地特征“学习”得不够“

过拟合

噪声数据的特征影响，特征集过大

模型泛化能力太差
实例：曲线拟合

模型的选择

当模型复杂度增大，训练误差会减小趋向0 ，达到最小值就会增大

正则化

结构风险最小化SRM

在ERM基础上，防止过拟合提出的策略

在经验风险上加上表示模型复杂度的正则化项，惩罚项

单调递增函数，越复杂，正则化值越大
机构高风险最小化的典型实现是正则化
- 形式
  
  第二项是正则化项
  
  可以去不同的形式
  
  L1范数：绝对值求和
  
  L2范数
奥卡姆剃刀

原理：如无必要，勿增实体

尽量选择能够很好解释已知数据且简单的模型

而不应该一味追求更小的训练误差，将模型复杂化

交叉验证

数据集划分

数据充足的情况下：训练集、验证机、测试集

训练模型

选择模型

学习评估
数据不充足，重复利用数据——交叉验证
- 简单交叉验证：73分
- S折交叉验证：
- 留一交叉验证：留下一个测试

模型求解算法

梯度下降算法

损失函数 $L (f (x), Y)$ 是模型中系数的函数，如果系数沿着损失函数的负梯度方向变化，损失函数减少速度最快，能以最快的速度解出损失函数的极小值，即合适的模型中的系数

沿着负梯度方向迭代

这里的偏导即下降的斜率

阿尔法在梯度下降算法中被称为学习率或者步长

不能太大也不能太小
明显，梯度下降可能只是一个局部最优解，即陷入山谷

但当山谷只有一个时，即凸函数，则是全局最优解

牛顿法和拟牛顿法

迭代公式:
- $H^-_k$ 是 $f (x)$ 的海塞矩阵在 $x^k$ 的值
  
  二阶偏导
- $g_k$ 是 $f (x)$ 的梯度向量在x的值
- 考虑了二阶偏导，所以收敛速度更快
拟牛顿法

分类与回归

当输出被限制为有限的一组值（离散数值）

具有范围内的任何数值（连续数值）回归算法

举例

预测房价或者房屋出售

回归分类
- 如果将是否出售问题改为预测房屋出售概率问题，则这就变成了一个回归问题

分类问题

在监督学习中，当输出变量Y取有限个离散值是，预测问题就成了分类
监督学习从数据中学习了一个分类模型或分类模型函数，称为分类器
分类问题可以用很多方法3解决：

K近邻、决策树、感知机、逻辑斯谛回归、朴素贝叶斯、神经网络
精确率和召回率
- 评价分类器性能的指标一般是分类准确率
  
  正确分类样本数/总样本数
- 二类分类问题：精确率和召回率
```
								   `precision   recall`
```
- TP ：正——>正（关心的问题被关心了）
  TN ：负——>负
  FP ：负——>正
  FN ：正——>负
- 精确率
  
  推测出来的人中推测正确的比例
- 召回率
  
  应该被推测出来的人被推出的比例

KNN算法

KNN算法（k个近邻）

通过测量不同特征值之间的距离进行分类

距离：
- 欧几里得距离
- 曼哈顿距离
- 余弦相似度
KNN算法很大程度上取决于K的选择

K=3，红色占比2/3

K=5, 蓝色占比3/5

算法步骤
1. 计算测试数据与各个训练数据之间的距离
2. 排序
3. 选取距离最近的k个点
4. 确定类别频率
5. 返回预测

逻辑斯谛回归算法

Sigmoid函数（压缩函数）

$g(z)=11+e−zg(z)=\frac{1}{1+e^{-z}}$
连续平滑地将整个实数域映映射为一个二值变量

反应在二维上我们可以得到一条直线

$w_1*x_1+w_2*x_2+b = 0$

即决策边界，这也就是所谓的线性分类

$x_1^2 + x_2^2+b = 0$

损失函数
1. 由于压缩函数的光滑，没有做到真正的阶跃，如果还是用平方函数，例如0.51比0.5大，分类为1即使正确，但是误差还是有0.49，无法准确地展现分类正确的奖励
2. 压缩函数加上平方后非凸函数，会梯度下降会陷入极小值

综上我们采用对数函数，抵消高次方

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

从图中可以看出，这是一个分段函数

在 $hθ(x)h_{\theta}(x)$ 接近理论值y时，红色段即误差急剧缩小,反之误差很大

图好像有误

说明该误差函数能很好地给出分离正确的奖励

将该分段函数合并，便于求导

$y^{(i)}logh(x^{(i)})+(1-y^{(i)})log(1-h(x^{(i)}))$

为了防止过拟合，加入正则化项

$j(θ)=−1m∑i=1m[y(i)loghθ(xi)+(1−y(i))log(1−hθ(x(i)))]+λ2m∑j=1nθj2j(\theta)=-\frac{1}{m}\sum_{i=1}^{m}[y^(i)logh_\theta(x^{i})+(1-y^{(i)})log(1-h_{\theta}(x^{(i)}))]+\frac{\lambda}{2m}\sum_{j=1}{n}\theta^2_j$

这样我们获得了一个凸函数

然后求偏导用梯度下降

决策树

简单高效具有强解释型模型

本质是一颗由上而下的有多个判断节点组成的树

涉及概念：

特征选择：决定用哪个特征来划分特征空间
随机变量：从样本空间的子集到实数的映射，将事件转换为一个数值
熵

用来衡量随机变量的不确定性

设X是一个区有限个值的离散随机变量，其概率分布：

$P(X=x_i)=p_i,i=1,2,3…,n$

则该随机变量X的熵定义为：

$H(X)=−∑i=1npilogpiH(X)=-\sum_{i=1}^{n}p_ilogp_i$

通常上式，对数的底数以2或e为底，这是熵的单位为比特或者纳特
条件熵

$H(Y∣X)=∑i=1npiH(Y∣X=xi)H(Y|X)=\sum_{i=1}^{n}p_iH(Y|X=x_i)$
已知随机变量X的条件下随机变量Y的不确定性

这里的 $p_i=P(X=x_i)$
熵 $H (D)$ 表示对数据集D进行分类的不确定性
条件熵 $H (D ∣ A)$ 指在给定特征A的条件下，数据集分类的不确定性
当熵和条件熵的概率由数据估计得到时，所对应的熵和条件熵分别被称为经验熵和条件经验熵
信息增益

特征A对训练数据集D的信息增益g(D,A)

定义为有无特征A给定条件下D的熵之差

也就是经验熵和条件经验熵之差

这就表示由于特征A而使得对数据集D的分类的不确定性减少的程度
例：

初识状态的熵：

$P (re d) = 1/3$

$P (b l a c k) = 2/3$

$ H(三个球) = -1/3log(1/3)-2/3log(2/3)=0.918$
1. 第一种分类方式：
  
  $H (红黑 ∣ 黑) = H (红黑) + H (黑)$
  
  $= - 1/2 * l o g (1/2) - 1/2 * l o g (1) = 1$
  
  熵增，不确定性增强
1. 第二种分类方式：
不确定性减小

理想的分类是

每一组数据，都能确定性地按照决策树分支找到对应的类别

也就是选择能使数据信息熵下降最快的特征作为分类节点

即选取具有信息增益大的特征作为分类节点

决策树的生成算法
- ID3
  
  找到信息增益最大的特征，按照此特征进行分类
  
  然后再找到各类子集中信息增益最大的特征，按照此特征分类，最终得到符合要求的模型
- C4.5
  
  用信息增益比选择特征
  
  $g(D,A)=H(D)−H(D∣A)H(D)g(D,A)=\frac{H(D)-H(D|A)}{H(D)}$
- 分类与回归树CART
  
  特征选择、树的生成和剪枝

回归问题

预测变量输出变量
回归问题的学习等价于函数拟合：

选择一个合适的函数曲线
回归问题的分类
- 输入变量的个数：一元回归(不等价线性）、多元回归
- 模型类型：线性回归(同样存在多元）、非线性回归
回归学习的损失函数——平方损失函数

求解损失函数最小值，（凸函数）

可以使用最小二乘法求解
线性回归模型
- 一元线性模型
$y = w x + b$

平面上的一条直线
- 多元
给定有d个属性（特征）秒胡的示例x=(x1,x2,……,xd),其中xi是在第i个属性上的举止，线性模型试图学得一个通过属性的线性组合来预测的函数，（比如一个好的瓜不仅要有好的色泽，根底，敲击的声音）即

$f(x)=w_1x_1+w_2x_2+……+w_dx_d+b$

向量形式：

$f(x)=W^Tx+b$

w就是特征矩阵

w、b学得后，模型就确定

b是偏置项，影响最后模型的输出结果，避免特征变量为0 时，输出为0的结果

线性回归最小二乘拟合

基于均方误差最小化来进行模型求解

使理论值和观测值之差的平方和最小

以一元线性模型为例，求解w和b,使得

最小化

分别对w,b求偏导

令他们的偏导为0则可求得极小值

线性回归梯度下降

例子：

相同点：求导算出一个模型，使得损失函数最小
不同点：
- 损失函数：梯度下降可以是其他损失函数，最小二乘一定是平方损失函数
- 实现方法：最小二乘是直接求出，梯度法是一种迭代
- 效果：最小二乘一定是全局最优解，但计算繁琐未必有解；梯度下降计算简单，但一般是局部最小，对初识点和学习率的选择极为敏感

无监督学习

聚类

k均值

核心思想：由用户指定k个初始质心initial centroids

以作为聚类的类别cluster

重复迭代直至算法收敛
算法流程：
1. 选取k个初始质心
2. repeat:
  
  对每个样本点，计算得到距其最近的执行，将其标记；
  
  重复计算k个cluser对应的质心
3. until质心不再发生变化，或迭代达到上限
实例：迭代过程，质心逐步确定，不再改变