CPanMirai的博客

整篇文章从系统架构梳理了Netfliex的经典推荐系统架构，整个架构更多是偏向实时性能和效果之间tradeoff的结果。如果从另外的角度看推荐系统架构，比如从数据流向，或者说从推荐系统各个时序依赖来看，就是我们最熟悉的召回、粗排、精排、重排、混排等模块了。这种角度来看是把推荐系统从前往后串起来，其中每一个模块既有在离线层工作的，也有在在线层工作的。而从数据驱动角度看，更能够看到推荐系统的完整技术栈，推荐系统当前面临的局限和发展方向。召回、排序这些里面单拿出任何一个模块都非常复杂。

随着移动互联网的飞速发展，人们已经处于一个信息过载的时代。在这个时代中，推荐系统就是一个将信息生产者和信息消费者连接起来的桥梁。平台往往会作为推荐系统的载体，实现信息生产者和消费者之间信息的匹配。上述提到的平台方、信息生产者和消费者可以分别用平台方（如：腾讯视频、淘宝、网易云音乐等）、物品（如：视频、商品、音乐等）和用户和来指代。下面分别从这三方需求出发，介绍推荐系统的存在的意义。

TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。使用步骤:获取数据将数据填入到 Example 协议内存块(protocol buffer)将协议内存块序列化为字符串，并且通过 tf.python_io.TFRecordwriter 写入到TFRecords文件。文件格式*.tfrecords。

方面机器学习深度学习特征提取手动完成，需要大量领域专业知识。深度学习通常由多个层组成，它们通常将更简单的模型组合在一起，将数据从一层传递到另一层来构建更复杂的模型。通过训练大量数据自动得出模型，不需要人工特征提取环节。适用于在难提取特征的图像、语言、自然语言处理领域。数据量和计算性能要求执行时间短执行时间长，因为深度学习参数往往很庞大，需要通过大量的数据的多次优化来训练参数。算法代表朴素贝叶斯算法、决策树等神经网络框架名主语言从语言灵活性上手难易开发者Tensorflow。

欠拟合：一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。（模拟过于简单）过拟合：一个假设在训练数据上能够很好的拟合，但是在测试数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。（模型过于复杂）​ 逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。

核心思想：根据你的”邻居“来推断出你的类别。定义：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于一个类别，则该样本也属于这个类别。其中k值不能太小，容易受到异常值的影响。不能太大，会受到样本不均衡的影响。欧式距离曼哈顿距离闵可夫斯基距离优点：简单、易于理解、易于实现、无需训练（KNN 是一种懒惰学习（lazy learning）算法，这意味着它在训练阶段并不构建模型，而是在测试阶段才进行计算。缺点：懒惰算法，对测试样本分类时计算量大，内存开销大。

机器学习是从数据中自动分析获取模型，并利用模型对未知数据进行预测。数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。意义：会直接影响机器学习的效果。在特征工程里面，我们使用的是sklearn,而不是pandas（数据清洗、数据处理）。对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显示会发生变化。