光英的记忆博客

声明：本文所有内容及其链接内容均来自于统计学习方法，只为了本人学习使用，不做任何商业用途，特此声明，如有违规，可以联系我。 1，统计学习2，监督学习3，统计三要素4，模型评估与模型选择5，正则化和交叉验证6，泛化能力7，生成模型与判别模型8，分类问题9，标注问题 10，回归问题 感知机，感知机模型，感知机学习策略，感知机学习算法，算法的收敛性，感知机学习方法，感知机学习算法的对偶形式， ...

类别型主要指性别，血型等只有在有限选项内取值的特征。类别型特征原始输入通常是字符串形式，除了决策树等少量模型能直接处理字符串形式的输入，对于逻辑回归，支持向量机等模型来说，类别型特征必须经过处理转换成数值型特征才能正确工作。在对数据进行预处理时，应该怎样处理类别型特征？序号编码 Ordinal Encoding 序号编码通常处理类别间具有大小关系的数据。例如成绩，可以分为低，中...

什么是组合特征？为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散 特征两两组合，构成高阶组合特征。如何处理高纬度组合特征？假设用户数量M 和物品数量N为组合特征，那么学习的参数就是m*n,然而m和n 可能是千万级别的数量级，几乎无法学习m*n数量级的规模的参数。在这种情况下一种有效的方法就是对m,和n分别用k维的低纬向量来表示。那么学习的参数将从m*n,变成k*m+n...

1

1.词袋模型 和 N-gram模型词袋模型最基础的文本表示模型是词袋模型。顾名思义，就是将每篇文章看成一袋子词，并忽略每个词出现的顺序。就是将整段文本以词为单位切分开，然后每篇文章可以表示成一个长向量，向量中的每一维代表一个单词，而该维对应得权重则则反映了这个词在原文章的重要程度。 常用TF-IDF来计算权重，公式为： ...

Word2vec是目前最常用的词嵌入模型之一。是一种浅层的神经网络模型，他有2种网络结构，分别是CBOW(continues bag of words)和 skip-gram.Word2vec 隐狄利克雷模型（LDA),CBOW,Skip-gramWord2vec是如何工作的？CBOW的目标是根据上下文出现的词语来预测当前词的生成概率：Skip-gram模型是根据当前词来...

知识点：迁移学习（Transfer Learning),生成对抗网络，图像处理，上采样技术，数据扩充一个模型所能提供的信息一般来源于2个方面，一是训练数据中蕴含的信息，二是在模型的形成过程中（包括构造，学习，推理等），人们提供的先验信息。当训练数据不足时，说明模型从原始数据中获取的信息比较少，这种情况下要保证模型的效果，就需要更多的先验信息。先验信息可以作用在模型上，例如让模型...

前提问题分析：Hulu的奢侈品用户广告主们希望把广告定向投放给奢侈品用户。Hulu通过第三方数据平台（DMP)拿到了一部分奢侈品用户的数据，并以此为训练集合测试集，训练和测试奢侈品用户的分类模型。该模型的分类准确率超过了95%，但在实际广告投放过程中，该模型还是把大部分广告投给了非奢侈品用户，还肯能是什么原因造成的？准确率的局限性准确率是指分类正确的样本占总样本的比例：Accuar...