Taylorandy的博客

UNITER多模态预训练模型原理 1. 数据 ​ 过去的5年中，Vision+NLP的研究者所使用的主要数据集如下展示： ​ 本文中所使用到的4种数据集如下图所示,Conceptual Captions和SBU Captions数据集是免费的，但是不是太clean： 2. 算法 2.1 整体结构 ​ 这里采用的是two-stage training pipeline训练流程。在一些大量的，含有噪声但是比较cheap的数据上，我们设计一些预训练任务，但是这些预训练任务需要被小心的design，因为

BERT原理 ​ BERT是google在2018年提出的一种全新的预训练语言模型， BERT的预训练是同时考虑左边和右边上下文的双向表示。将预训练好的BERT表示应用到各个任务时只需要微调最后一层就能达到最佳效果。 ​ 主要贡献可以归纳以下三点： ​ 1、 我们证明了预训练双向语言模型对于语言表示的重要性，不向之前的尝试都是单向的语言模型，BERT使用遮盖（masked）语言模型解决双向表示问题。 ​ 2、 我们证明了预训练的表示可以取代大量的任务特定的特征工程结构。BERT是第一个基于微调的表示

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar