Lyn_S的博客

TMUX tutorial

本文中，我们一起分析一下 Transformer 的 pytorch 实现，原代码地址为：这个 code 是关于语言翻译的，主要task是读入一个文档输出对应的翻译文档。大概的编写流程是初始化文档并读入;初始化Transformer model;训练model;验证训练后model性能.初始化 Transformer我们首先看一下第二步中，Transformer这个model是怎么初始化的。我们主要关注 Transformer. init() 这个函数：class Transformer

我们来学习一下 Hugging Face Transformers 这个很方便的NLP library。本节我们首先看一下官方的 Quick Tour: https://huggingface.co/transformers/quicktour.html#Pipeline官方的解释从pipeline开始。它把所有的东西全部打包到了一起为一个端到端的工具，对初学者非常友好。好，首先加载pipelinefrom transformers import pipeline加载完之后我们来创建第一个模型

三大要素支撑起了近十年 Deep Leanring 的发展浪潮: DL algorithm, Big data, Computation power. 从本节起，我们学习一下 PyTorch 的使用。创建Tensor首先，什么是Tensor？Tensor是一个任意维度的矩阵 (从标量开始). 而编写神经网络 (NN) 的过程其实就是一个构建一个Tensor的计算图的过程。其中，所有参与计算的变量都要以Tensor的形式存在。 创建一个Tensor也很简单:直接创建 torch.Tensorimp