木东的博客

ViLBert paper: ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks基于双流的 ViLBERT，在一开始并未直接对语言信息和图片信息进行融合，而是先各自经过 Transformer 的编码器进行编码。分流设计是基于这样一个假设，语言的理解本身比图像复杂，而且图像的输入本身就是经过 Faster-RCNN 提取的较高层次的特征，因此两者所需要的编码深.

推荐已经成为许多在线内容共享服务的核心组成部分，从图像、博客公众号、音乐推荐、短视频推荐等等。与传统推荐不一样的地方，就是这些项目内容包含着丰富的多媒体信息-帧、音轨和描述，涉及多种形式的视觉、声学和文本信息。「那么如此丰富的多媒体、多模态信息如何融合到推荐中呢？」最普通也是最直接的方式可能就是对多模态抽特征，然后多模态融合直接作为side Information或者item的representation之后参与到推荐中的。本篇博文主要整理三篇整合多模态信息到表示中的文章，一篇是通用的融合结果，

文章目录 写在前面 前两章简单阅读 异质网络的基本概念 基于原路径的挖掘 异质网络的学习表示 浅层模型 基于分解的方法 基于元路径的随机游走的方法 基于关系的方法 深度模型...

知识图谱技术已经被广泛用于处理结构化数据（采用本体+D2R技术）和文本数据（采用文本信息抽取技术），但是还有一类非结构化数据，即视觉数据，则相对关注度较低，而且相缺乏有效的技术手段来从这些数据中提取结构化知识。最近几年，虽然有一些多模态视觉技术提出，这些技术主要还是为了提升图像分类、图像生成、图像问答的效果，不能很好地支撑多模态知识图谱的构建。视觉数据库通常是图像或视频数据的丰富来源，并提供关于知识图谱中实体的充分视觉信息。显然，如果可以在在更大范围内进行链接预测和实体对齐，进而进行实体关系抽取，可以使现有

1.介绍（introduction）2.历史回顾（review）3.表示（representation）4.映射（Translation/Mapping）5.对齐（Alignment）6.融合（Fusion ）7.联合学习（Co-learning）8.结论（conclusion）以下是本人每一章节整理的笔记：1.介绍（introduction）论文总体介绍了多模态的五个方向/挑战：表示（representation）、映射（Translation）、对齐（Alignm

imageBERT自问世以来，几乎刷新了各种NLP的任务榜，基于BERT的变种也层出不穷，在很多任务里都可以看到其身影。大浪淘沙，沉者为金，回想第一次看到BERT的论文时，确实不曾想其也能对工业界产生极大的影响。本文尝试梳理今年BERT在多模态任务（主要涉及视觉和文本模态）上的一些工作，尝试比较各工作的主要思路以及做法上的区别，因此不会过多的涉及细节。总的来看，众多工作的主体模型大同小异，均使用Transformer，从表1（引用自VL-BERT论文）可以对各工作之间的相似和不同之处有个整体的认..

ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks论文作者：Jiasen Lu, Dhruv Batra, Devi Parikh, Stefan Lee（佐治亚理工学院、俄勒冈州立大学、Facebook AI Research）点此进入“论文地址”摘要本文提出ViLBERT(Vision-and-Language BERT)，该模型学习.

读知乎文章《推荐系统技术演进趋势：从召回到排序再到重排》笔记：《推荐系统技术演进趋势：从召回到排序再到重排》这篇文章主要说了下最近两年，推荐系统技术的一些比较明显的技术发展趋势。主要从以下几个方面介绍：推荐系统整体架构召回技术演进趋势排序模型技术演进趋势重排技术演进趋势一、推荐系统整体架构推荐系统宏观架构：推荐系统宏观结构细分四阶段：推荐系统细分四阶段二、召回技术演进趋势1、传统：多路召回（每一路召回相当于单特征排序结果）传统召回2、未来：

内容 AI：建立统一的跨媒体多模态内容理解内核作者： zixunsun@tencent.com，腾讯 IEG 应用研究员Jeff Dean 谈 2020 年机器学习趋势：多任务和多模式学习将成为突破口2019 年下半年，CDG 广告、 CSIG 音视频，IEG 内容推荐、PCG 信息流、TEG 数平广告推荐和 AI 平台部团队、WXG 看一看团队内容技术专家沟通，大家在处理内容理解...