茶桁专栏

PLE 是一种简化的方式，以前我们要搭建这个游戏模拟人的操作行为还需要搭建视觉系统。很多玩游戏的是前期去分析你的游戏界面，识别出来哪些是水管，哪些是鸟，这个可能就更复杂一点。现在就不需要识别它，PLE 的环境可以把中间的状态假设已经识别好了，所以有点类似于像无人驾驶一样。游戏告诉你速度是多少，你就直接去做无人驾驶的决策，Flappy Bird 的一个 action 就可以了。

强化学习实际上就是训练了一个智能体，让你的智能体跟游戏去做PK。这是一个足球赛的一个例子，为了计算方面并没有把它渲染成一个真正的足球队中的人，只是用数字作为一个代表。可以看到现在这个 B 就是那个足球，球是数字来去控制的，有蓝色和红色两队，射门成功得 1 分。

相信很多同学应该都或多或少的用过查毒的软件吧？那么，杀毒软件怎么查毒呢？杀毒软件其实也是要通过软件的一些特征行为来做判断，那行为的采集是由 API 来做标识的。

在上一节课中，因为需要，我们先是回顾了一下 Graph Embedding，然后跟大家讲解了 GCN 以及其算法。虽然是推导完了，不过具体要怎么使用可能很多同学还是不太清楚，那咱们这一节课，就拿一个例子来看看具体的 GCN 该怎么去用。

「GCN」，这里的 G 就是 Graph，CN 基本上就是 CNN 差不多，是卷积神经网络。其实从名字上分析，我们知道它应该是「图卷积神经网络」。图卷积神经网络是在图的基础上做了特征的提取，这个特征提取能力对于图的特征提取来说是非常强大的一个武器，把特征提取完以后就可以用于后续的分类任务。

曾经有过这么一句话：Embedding is all you need，这曾经是一篇论文的标题，也有很多 AI 相关的文章都会引用这句话作为标题，大家可以去 Google 一下，一搜一大片。这句话意思是 Embedding 就是你所想要的一切，这可以说明特征工程的一个重要性。

上一节课咱们讲了 Graph Embedding 的开山之作 DeepWalk, 结尾处说到，2 年之后推出来一个新的算法，就是 Node2Vec。这一节课，咱们就来讲讲这个 Node2Vec。

接着上节课咱们继续来讲。上一节中咱们讲了 Graph Embedding 的一些概念以及其中比较相关的「非欧几里得数据」是什么，介绍了 Graph Embedding 三种主流的技术，图因子分解机，随机游走以及深度学习。那这节课，我们来看看 Deep Walk 算法

Graph Embedding 是一个比较重要的内容，这一部分的内容可能要讲个几节课才能完全讲完。那今天的课程大家先放松一下， 这节课没那么多内容， 主要来了解一下相关概念。

图，不仅仅是一个排序的问题，还有很多工具可去使用. 前几节课中给大家介绍的NetworkX, 在这个工具箱里也存在着除了PageRank以外的一些方法.咱们应该很多人都用过高德地图或者百度地图, 在图上面最经典的一个算法就是求路径.

在上一节课中, 咱们不仅做了案例, 并且说到了 PageRank 模型的影响力, 并且讲了其中一个在社交网络中应用的算法personRank. 除了PersonRank, 还有Textrank, EdgeRank.

上节课咱们讲解了 PageRank 的两种模型, 并分别做了代码上的演示. 这节课, 让我们来看看 PageRank 的影响力及其应用.PageRank 已经超越了原来提出来的模型, 因为 PageRank 的影响力影响到了后续很多的一些模型, 都可以采用它. 举个例子, 最早是在论文里面使用, 之后在网页里面使用, 现在还可以在社交网络里面使用.

我们的算法就需要有两个维度，第一个还是要匹配内容，用户检索口罩这个关键词，你的内容也要出现这个内容，这是一个充分条件。还有一个条件，我们想要对所有符合的这些网页做一个排序，按照权重排序，Rank 就代表的是排序的含义。

现在我们看到 embedding 已经不仅仅是在单词的特征表达了，还有一些图的 embedding，还有很多的 item 的 embedding。你只要把它看成一个物体，可以用向量来做表达就可以把它称为叫做 embedding 的一个策略，应用场景非常的广泛。

内容推荐系统主要做的事情，第一个就是物体的表征，因为你要学内容的特征。这里的内容特征实际上是对某一个 item 来抽取它的 feature。还有一个就是对人来去做特征的学习。

在原理上我们主要讲解的是奇异值分解 SVD，它的本质是对一个大矩阵拆成三个小矩阵，实际工作中是要抽取前 k 个特征的。这里的 k 相当于是对矩阵的一个降维，通过之前我同时那个照片的抽取可以看到，10%的特征是可以包含 90%以上的信息，这就是 SVD 的一个价值。

上一节课的内容中，咱们学习了 SVD 矩阵分解的原理，并在最后提到了，矩阵其实是做运算的一个根基。这一节课，咱们就来举一个简单的示例，拿图片来举例。

之前咱们花了大概 5 节课的时间学习了推荐系统中的矩阵分解，ALS 算法以及 SlopeOne 等等。这些内容都属于协同过滤的内容，除了协同过滤之外，推荐系统还有另外一种方法，就是基于内容推荐。不过首先，咱们还是得把协同过滤讲完，当然依然还是矩阵分解，不过今天我们要讲的是 SVD 矩阵分解。

就像我上节课结束的时候说过的，阅读论文也是一种能力。如果你想要未来获取一些新的方法，最直接的方式就看论文。怎么去阅读呢？今天详细给大家做一些分享。

上节课的内容中，我们介绍了 Surprise 工具箱以及其中的 BaselineOnly，最后我们简单实现了一下。这一节课中，咱们来看看 Surprise 中的另外一个内容，SlopeOne 算法。

SGD 就是怎么样去选择这个方向。方向很重要，在参数拟合过程中一个是方向，一个是步长。SGD 基本思路就是以随机方式遍历训练集中的数据，并给出每个已知评分的预测评分。用户和物品特征向量的调整就沿着评分误差越来越小的方向迭代进行，直到误差达到要求。所以 SGD 不需要遍历所有的样本即可完成特征向量的求解。

矩阵分解中拆矩阵的背后其实是聚类。就说 k 等于几是人工设定的，所以跟聚类概念很像。就是要把人群划分成几类，把电影划成几类。k 等于 3 是自己去设定的，也可以把它拆成 k 等于 4、k 等于 5，都是一样的，是要完成聚类任务。

本文为 「第 15 篇」

在场景过程中我们的推荐系统为什么要用矩阵分解呢？这些系统实际上有两大场景，第一个叫评分预测。我们画一个大矩阵，这个矩阵分成 user 的维度和 item 的维度。user 是由 U1、U2…，一直到可能 U100。item 是 I1、I2…，一直到 I100。现在用户和商品之间会有个评分的矩阵，可能有一些分数，还有一些分数是没有的。那么我们要做的事情就是预估他没有去打分的，猜用户会打成多少分。

咱们之前用了几节课讲解了可视化的一些使用，重点是在 Python 里面的两个工具，一个是 Matplotlib，这是一个基础的工具，还有一个高级的封装是 Seaborn。它可以帮我们画各种各样的一些图表，在工程里面也是经常会使用到。

我们今天继续来看数据可视化做数据探索，今天我们还是来看相关项目。来看看可视化 EDA 在项目中的应用。

之前两节课，咱们学习了基础的数据可视化工具以及决策树的可视化。今天这节课，咱们要看到的是另外一个场景，叫做词云展示。

上一节课，咱们了解了图形的具体绘制方法，接下来咱们还要看看除了图形绘制之外，还有哪些要做的可视化分析。还有一些是跟模型相关的可视化，在运算过程中我们可能会有一些模型。

今天想给大家讲的是关于数据的可视化。在工作中很多时候我们不光要计算结果，还要把结果呈现出来，最好是一种图形化的方式。因为这样领导会更容易去理解。

那我们之前的课程里，带来了 Fintech 的应用场景，同时又对其中一个量化交易的场景做了一个简单实验。今天，咱们来另一个 Fintech 的场景，同样也是有数据，这个数据是来自于一场比赛。

它的原理是要计算两条线，一个叫 MA1，一个叫 MA2, 1 是短线，2 是长线。短线就是短期的平均值，比如说过去的 10 天。长线就是长期的平均值，比如说 20 天。这两条线之间也会有个差，这个差值称为 DIFF，这个差就可以知道现在是短期大，还是长期更高。DIFF 组成的线，我们称之为 MACD 线。

上一节课中，咱们详细的分解了 Fintech 的应用场景，也是将相关的一些业务给大家好好的梳理了一遍。那么本节课中，咱们来一起做一个实战，关于 Python 的量化交易的一个板块。

在金融行业里有很多需要做数据分析的场景，那这些场景都有哪些，该怎么样针对不同的场景去完成，这是接下来主要讲解的内容，围绕 Fintech 金融科技的场景。

LightGBM 是微软提出来的, 是属于XGBoost的升级版，也曾经是Kaggle里面使用模型最多的机器学习的神器。当然，目前LightGBM 之外，BERT以及GPT都越来越受关注，但是LightGBM 这么久了，依然还是占据一席之地，依然还是某些性质及任务要求下的首选。

这些机器学习的神器都跟集成学习相关，先给大家看一个概念叫集成学习。集成学习就是把多个分类器合到一起，可以把它理解成叫三个臭**裨将**顶个诸葛亮。

今天咱们还是来看案例，从案例来入手。那今天的例子会带着大家一起来做一个练习，是一个男男女声音识别的例子。数据集来自于3,168个录音的样本，有些男性和女性，采集了一些特征，特征都是跟频谱相关的，一共有21个属性，去基于这个属性来预测声音是男还是女。指标是以Accuracy为评价指标。

接下来的课程里，我给大家讲解一下机器学习的预测神器。就是XGBoost，LightGBM以及CatBoost这样的一些方法。这个方法在后续的机器学习工作中会经常使用到。不光是在工作中使用，如果你打一些比赛，也是一个必知必会的模型。