
深度学习基础理论知识梳理
文章平均质量分 70
梳理深度学习中的基础小知识点
卷不动的程序猿
不负今日
展开
-
推荐系统的主要四个阶段(召回、粗排、精排、重排)
传统划分:1、召回根据用户部分特征,从海量的物品库里,快速找回一小部分用户潜在感兴趣的物品。特点:速度快。2、排序可以融入较多特征,使用复杂模型,来精准地做个性化推荐。特点:结果精准。精细划分:1、召回(多路召回)根据用户部分特征,从海量的物品库里,快速找回一小部分用户潜在感兴趣的物品。2、粗排(可用可不用,根据场景选择)通过少量用户和物品特征,简单模型,对召回的结果进行个粗略的排序,保证一定精准的前提下,进一步减少选取的物品数量。作用:防止用户召回环..原创 2022-05-10 15:21:29 · 16532 阅读 · 0 评论 -
样本不平衡问题及解决方法
样本不平衡问题样本不均衡:数据集中不同数据类别的比例差距比较大,即有的类别数据量很多,有的类别数据量很少。产生了一种类别样本分布不平衡的现象。比如,类别样本比例:1:2到1:10(轻微不平衡),超过1:10(严重不平衡)。解决方法一般常见解决方法分为数据层面和算法层面。1、数据层面(采样、数据合成、数据增强)数据增强:直接复制小类样本,对小类样本数据经过一定的处理,做一些小的改变等。1)采样(随机采样):随机欠采样:从多数类样本集中随机选择较少的样本(有放回/无放回)原创 2022-05-04 10:47:31 · 5220 阅读 · 1 评论 -
Transformer 总结(self-attention, multi-head attention)
整体框架图:自注意力1、2、3、4、5、6、多头位置编码残差网络原创 2022-04-21 13:30:00 · 856 阅读 · 0 评论 -
深度学习常用评价指标(Accuracy、Recall、Precision、HR、F1 score、MAP、MRR、NDCG)——推荐系统
1、准确率(Accuracy)定义:公式:优缺点:2、精确率(Precision)3、召回率(Recall)4、命中率(Hits Ratio)5、平均精度均值(Mean average precision)6、平均倒数排名(Mean Reciprocal Rank)7、归一化折损累计增益(Normalized Discounted Cumulative Gain)...原创 2022-04-11 17:08:19 · 15324 阅读 · 3 评论 -
常用激活函数activation function(Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU) 附激活函数图像绘制python代码
激活函数是确定神经网络输出的数学方程式。激活函数的作用:给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数。1、附加到网络中的每个神经元,并根据每个神经元的输入来确定是否应激活。2、有助于将每个神经元的输出标准化到1到0或-1到1的范围内。常用非线性激活函数对比 激活函数 公式 函数图像 适合场景 Softmax 多分类任务输出层 Sigmoid 二分类任务输出层,模型隐藏层 Tanh原创 2022-04-10 17:38:18 · 38933 阅读 · 2 评论 -
常用损失函数loss(均方误差、交叉熵)
一、均方误差(Mean Squared Error)表示预测值和原始值对应点误差的平方和的均值,常用于线性回归问题。公式:m表示样本数量。二、交叉熵(cross entropy):极其有意思的现象:A和B的交叉熵 = A与B的KL散度 - A的熵。信息论1、信息量含义:越不可能发生(概率越小)的事件发生了,其信息量就越大。公式:表示:负对数函数。2、熵含义:所有信息量的期望。公式:不确定性越大熵越大。相对熵&KL散度(Kullback-L.原创 2022-04-10 15:06:43 · 4709 阅读 · 1 评论