jacobwe的博客

目前业界有句话被广为流传： “数据和特征决定了机器学习的上限，而模型与算法则是逼近这个上限而已。” 因此，特征工程做得好，我们得到的预期结果也就好。 那特征工程到底是什么呢？在此之前，我们得了解特征的类型：文本特征、图像特征、数值特征和类别特征等。我们知道计算机并不能直接处理非数值型数据，那么在我们要将数据灌入机器学习算法之前，就必须将数据处理成算法能理解的格式，有时甚至需要对数据进行一些组合处理如分桶、缺失值处理和异常值处理等。 这也就是特征工程做的事：提取和归纳特征，让算法最大程度地利用数据，从而得到更

推荐多路召回是对各个模型出的结果进行混合排序的过程，以达到推荐结果曝光最大，一般会有基于用户兴趣，热点，内容的

补

1 编程基础知识准备 函数编程环境 函数编程语言 2 推荐理论知识准备 协同过滤 基于物品的item-cf 基于用户的item-cf FM 根据内容语意的词频 余弦相似度：数字表达后的夹角相似度 特征编码：对分类类型进行数字表示 独热编码：将类别编码 作为 数据表达，稀疏维度过高 emedding：稠密向量 向量：加入方向 矩阵：图片网格变成数字矩阵，销售省市数据变成数字矩阵 张量： 欧式距离：两点之间的距离 3 模型评估 均方根误差：两个向量平方相减开平方根 ROC：预测结果按照正，负概率排序，绘制真正率

1监督学习：利用一组带标签的数据，学习从输入到输出的映射，然后用新数据对照映射关系得到映射结果，达到分类或回归目的 D=(X, y) X:数据 y:标签 学习X y的映射关系 算法:线性回归、逻辑回归、朴素⻉贝叶斯、决策树、随机森林林、SVM、神 经⽹网络 2 非监督学习 输入数据没有被标记，也没有确定的结果 D=(X) ⽆无标签 寻找X中的特征或规律律eg:⽤用户分层(兴趣/特征等等)，降维⼯工...

一，缺失数据概要 　1 .缺失原因 分为无意的，有意的，不存在。 2.缺失类型 ，缺失分为完全随机缺失，随机缺失，完全非随机缺失 　3.缺失处理方法      删除法,数据补充(替换补充，拟合补充)，虚拟变量，不处理 二，缺失数据的类型 　1，缺失分为完全随机缺失，随机缺失，完全非随机缺失 　2 完全缺失- MCAR(missing completely ...

特征工程 -brief 特征工程 一 脑图 1特征提取 统计特征 文本类型特征（tfidf,embeeding） 模型特征 stacking 特征 2单个特征处理 归一化 哑变量 分箱 数据变换 log，指数 3 多特征处理 特征交叉 二特征工程 概念 1 特征工程很重要 2 从x 到 X‘ ，衍生（升维），筛选（将维） 3从原始特征的分布抽取统计量 拟合数据标签的分布 三特征工程过程 sour...

在对常用地点进行排序并分类中，来进行用户行为预测的置信区间判断

车场景音乐主题推荐 开车，停车，音乐的展示推荐位置。 曲目 -> 流行，2轻音乐 3 古典 4 摇滚 ->加入热门曲目 -》 推荐相似曲目 --》 转按曲目 艺人/专辑 1 艺人画像 2 艺人的相似度 专辑相似度–》二次推荐 （由专辑过滤到曲目） — 协同 召回 |-- 主题相似度 — 用户兴趣 — 热门 排序 1 LR+GBDT FM FRM 2 NDCG ...