咭咭熊的博客

目录 一、贡献 1.主要思想 2. 现有研究方法对比 二、实现过程 1.无监督模型架构 2.模型流程 3.模型构成 4. 训练过程 5. 初始化 三、实验结果及示例 四、结论 一、贡献 我们首次尝试在不依赖任何标记的图像对的情况下进行无监督的图像字幕。 我们提出了三个目标来训练图像字幕模型。 我们提出了一种新的模型初始化管道。通过利用视觉概念检测器，我们为每个图像生成一个伪标题，并使用伪图像-句子对初始化图像字幕模型。 我们从Web中抓取了一个由超过200万个句子组成的...

1.CNN模型的迁移学习： （1）利用预训练模型来加速训练的过程（经常使用在ImageNet上的；预训练模型）。 （2）这是一种transfer learning的方法。做迁移学习的常用方法： fine tuning:从一个预训练模型开始，我们改变一些模型的架构，然后继续训练整个模型的参数； feature extraction:我们不再改变预训练模型的参数，而是只更新我们改变过的部分模型参数，我们称其为feature extraction 是因为我们吧预训练的CNN模型当做一个特征提取模型，利用提

语言模型 1.循环神经网络RNN （1）每一步的参数W是固定的； （2）当前隐藏状态包含了所有前面出现的单词信息； （3）给定一列词向量： （4） RNN每一个步骤： （5）训练：Cross Entropy损失函数： （6）随机梯度下降SGD： （7）梯度消失和爆炸问题： 原因：根据反向传播（链式法则），梯度会不断相乘，很容易引起梯度消失或者爆炸。 2. 长短期记忆网络LSTM （1）LSTM是RNN的一种，大体结构几乎一样； （2）区别：LSTM的“记忆

1.词向量 2.Word2Vec：Skip-Gram模型 3.Skip-Gram模型:负例采样

1.神经网络 2.激活函数 （1）ReLu函数 （2）Sigmoid （3）tanh 3.简单神经网络 （1）前向神经网络 （2）RNN （3）CNN 4.Pytorch框架的优点 （1）动态计算图 （2）Pytorch代码通俗易懂，接近于Python原生代码，比较友好； （3）支持性好； 5.应用 （1）图像分类 （2）Object detection （3）CycleGan （4）Image Captioning （5）情感分析 （6）Question

1.题目描述： 使用Pytorch实现一个简单的深度神经网络，试图用的数据集是MNIST,预期结果可以达到98%左右的准确率。 该神经网络由1个输入层、1个全连接层结构的隐含层和1个输出层构建。 2.数据集的下载 2.具体实现过程 ...