0202zc 的博客

在监督学习中，模型的输入为x，若期望输出是y，则在训练的时候需要给模型的期望输出y以判断其误差——有输入和输出标签才能训练监督学习的模型。自监督学习在没有标注的训练集中，把训练集分为两部分，一个作为输入，另一个作为模型的标签。自监督学习是一种无监督学习的方法。BERT 是 Transformer 的编码器（Encoder），一般用于NLP中（也可用于图像、语音处理中），它的输入是一排文字，输出是等长的一串向量。训练 BERT 一般是两个任务：从训练集中拿出两个句子 Sentence1 和 Sentence2

输入一个序列，输出长度由模型决定。例如语音识别，输入的语音信号就是一串向量，输出就是语音信号对应的文字。但是语音信号的长度和输出的文字个数并无直接联系，因此需要机器自行决定：对于世界上没有文字的语言，我们可以对其直接做语音翻译。另外，Seq2seq 还可以用来训练聊天机器人：输入输出都是文字（向量序列），训练集示例如下图：各式各样的NLP问题，往往都可以看作QA问题，例如问答系统（QA），让机器读一篇文章，读入一个问题，就输出一个答案。而该问题就可以用 Seq2seq 的模型来解决：question

无论是预测视频观看人数还是图像处理，输入都可以看作是一个向量，输出是一个数值或类别。然而，若输入是一系列向量（序列），同时长度会改变，例如把句子里的单词都描述为向量，那么模型的输入就是一个向量集合，并且每个向量的大小都不一样：将单词表示为向量的方法：One-hot Encoding（独热编码）。向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，如下所示：但是它并不能区分出同类别的词汇，里面没有任何有意义的信息。另一个方法是Word Embedding：给单词一个向量，这个向量

卷积神经网络（Convolution Neural Network）是一种神经网络的架构设计，专门用于影像处理上。本文从神经元版本和卷积核版本对卷积层进行介绍，随后介绍池化层及其作用——把图像变小的同时保留其重要特征。最后举例一个CNN的应用场景：Alpha GO 下围棋。

本篇介绍深度学习中优化调整的方法：判断局部最小值与鞍点、大小批次的选择、梯度下降 + 动量的综合应用以优化梯度下降、学习率的自动调整（RMSProp 算法和Learning Rate Scheduling等）、损失函数选择的影响和批标准化等。

本文分别介绍了深度学习和反向传播机制。其中深度学习的三步骤类似于机器学习：神经网络、模型评估、函数择优。反向传播是基于梯度下降算法和链式求导法则的一种计算的参数算法，其有两种传播机制：向前和向后传播。

对于机器学习的Regression，有两种因素影响其训练结果：bais 和 variance。减小误差可使用交叉验证或N-折交叉验证方法。梯度下降法有三种方法对其进行优化：调整学习率（Adagrad 算法）、随机梯度下降法和特征缩放。

一、回归（Regression）能做什么?除了上一节说的预测 PM2.5 之外，还有其他非常有用的案例：股市预测：输入：过去十年内各种股票的涨跌资料或某些公司并购的资料输出：未来道琼工业平均指数自动驾驶：输入：无人车红外线所探测的数据、镜头所看到的数据输出：方向盘的角度（左转15°、右转35°等）推荐系统：输入：使用者A + 商品B输出：使用者A 购买 商品B的 可能性二、利用回归进行预测预测宝可梦的CP值背景“CP值”是一只宝可梦的战斗力。你抓到一只宝可

一、机器学习介绍1. 机器学习的由来人工智能——目标最初在1950年代出现了 “Artificial Intelligence” 这个词，人们希望机器可以跟人一样聪明。然而在很长一段时间人们并不知道怎么做。机器学习——手段到1980年代后，有了机器学习的方法。顾名思义，其意义为“让机器具有学习的能力”，即通过机器学习的手段，让它可以和人一样聪明。深度学习深度学习是机器学习的其中一个方法。生物的行为取决于两件事：后天学习的结果、先天本能。在有机器学习之前，人们通过设定好机器的本能来达到预