- 博客(5)
- 收藏
- 关注
RSS订阅原创 让你一文轻松搞懂HMM
HMM 隐马尔可夫模型1. 基本概念：隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的随机状态序列，再由各个状态生成一个观测从而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态序列，称为状态序列（state sequence）；每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（observation sequence）。序列的每一个位置又可以看做是一个时刻。如上图所示，用 t = 1, 2, … ,n 来表示时间序列，用Z来表示所有所有可能的状态值
2021-05-24 18:15:32
1333
原创 浅谈BERT
浅谈BERT本文将主要介绍BERT模型以及BERT相关的一些东西。过去在NLP的领域通常是一个任务对应一个model，但是今年来已经发展到可以让机器先了解人类的语言再来解决各式各样的NLP任务。可以通过给机器大量的文字，让机器读懂，这个过程叫预训练(pre-train)，然后再根据特定的任务给机器特定的有限的有关数据对pre-train的model进行微调(fine-tune)。这种pre-train的做法类似于人类学习一门语言的过程，比如评价一个人的英语水平往往可以通过考托福，雅思等，做一些列的口语
2021-05-21 16:45:30
639
1
原创 从self-attention到transformer之transformer
从self-attention到transformer之transformer1. Seq2Seq模型：今天来介绍transformer模型，也跟后来产生的BERT有着紧密的联系，transformer也是Seq2Seq中的一个。Seq2Seq模型一般都有Encoder和Decoder两个结构，由Encoder来处理input sequence然后交给Decoder来决定要什么样的output sequence。如下图所示：2. Encoder:首先来介绍Encoder的部分，Encoder要做的
2021-05-11 10:42:17
835
1
原创 从self-attention到Transformer之self-attention
从self-attention到Transformer之self-attention本文内容是本人学习李宏毅老师课程的笔记。在这里附上李宏毅老师的主页：https://speech.ee.ntu.edu.tw/~hylee/index.html1. self-attention想要解决一个Seq2Seq的问题，根据经验我们完全可以把整个序列的每一个向量都丢到一个fully-connected neural network中然后根据不同任务输出对应的输出，就像下图一样：但是很明显这种结构显然有很大的
2021-05-09 22:45:02
588
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人