leeyns的博客

主要介绍了BERT文章的预训练部分以及数据的生成部分。

Simple Image Caption Tutorial Data set: Flickr8k-Images-Captions Video: Pytorch Image Captioning Tutorial GitHub: Image Captioning In this tutorial, inception v3 and LSTM are used to build the model. Build Vocabulary Build your own vocabulary Convert text

Word2vec是一个学习单词向量的框架 IDEA： 我们有大量的文本 (corpus means ‘body’ in Latin. 复数为corpora) 固定词汇表中的每个单词都由一个向量表示 文本中的每个位置 t，其中有一个中心词 c 和上下文(“外部”)单词 o 使用 c和 o的词向量的相似性来计算给定 c的 o的概率 不断调整词向量来最大化这个概率 目标函数 L(θ)=∏t=1T∏−m≤j≤mj≠0P(wt+j∣wt;θ) L(\theta)=\prod_{t=1}^{T} \prod_{-