qq_45111878的博客

Attention Is All Y ou Need摘要  包括编码器和解码器的主要序列转换（sequence transduction）模型是基于复杂的循环或卷积神经网络的。性能最好的模型还通过注意机制（attentionmechanism）连接编码器和解码器。我们提出了一种新的简单网络架构—Transformer，它完全基于（based solely on）注意力机制，且完全摒弃了循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优，同时具有更强的并行性（parallelizable）

Reducing the Dimensionality of Data with Neural Networks——使用神经网络降低数据维度G. E. Hinton and R. R. Salakhutdinov通过训练一个具有小的中间层的多层神经网络去重构高维输入向量，可以将高维数据转化为低维编码。在这种“自动编码器（autoencoder）”网络中，梯度下降可以用来微调（fine-tuning）权值，但是只有在初始权值接近一个好的解时才有效（work well）。我们描述了一种初始化权值的有效方法，

线性模型——（1）线性回归在接下来的一段时间我们将介绍五种线性模型，它们分别是：1.线性回归；2.逻辑回归（logistic回归）；3.softmax回归；4.感知机（perceptron）；5.支持向量机（SVM）。1.模型介绍在本文中，我们先只展开线性回归的部分，线性回归是机器学习中一个基础的模型，它的目的是对自变量和因变量间的关系做回归分析。当只有一个自变量时称为一元线性回归，公式如下：y=ax+b有多个自变量时称为多元回归，公式如下：线性回归模型训练的目的就是使得以下残差平方