木东的博客

近期，腾讯PCG新闻产品技术部算法中心李彪应邀来到腾讯媒体研究院作内部分享，详细梳理了算法应用产品场景，以下为部分内容实录。今天我跟大家分享的主题是算法赋能的内容处理和分发，重点讲一下内容处理。开始之前，先介绍一下算法在腾讯新闻的应用场景。第一个，腾讯新闻APP中各种内容形态（如图文、视频、音频、话题、问答等）的理解和分发，涉及推荐系统，以及AI算法赋能内容的运营。第二个，将腾讯新闻推送到微信，每次一个大图和三条新闻资讯，一共四条，点进去有些底层页能跳转到腾讯新闻APP。第三个，海豚智音

本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析，内容安全等原理。一、系统概览推荐系统，如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。第一个维度是内容。头条现在已经是一个综合内容平台，图文、视频、UGC小视频、问答、微头条，每种内容有很多自己的特征，需要考虑怎样提取不同内容类型的特征做好推荐。第二个维度是用户特征。包括各种兴趣标签，职业、年龄、性别等，还有很多模型刻划出的隐式用户兴趣等。第三个维度是环境特征。这是移动

作者：一元 公众号：炼丹笔记目前非常多的推荐系统主要使用用户的一些基础反馈信息来作为最终的标签进行模型的训练,例如点击/购买等,但是却鲜有文章去进一步挖掘用户的其它反馈,例如用户对于该产品的评论,很多的评论相较于点击等反馈更加具有表示性,比如你经常向一个用户推荐一类商品,该商品虽然点击率很高,但是该用户之前已经评论了恶心之类的，这么继续推下去的化很可能使得该用户不再使用该软件。所以推荐系统里面的用户评论是否有用呢,按理说是有用的,比如有些不良的商品点击率极高,但是评论却极差,通过挖掘评论的信息.

信息越来越海量，用户获取信息越来越茫然，而推荐算法则能有助于更好的匹配海量内容和用户需求，使之更加的“有的放矢” 。为让产业各方更好的了解算法分发的相关技术和原理，我们特整理了当下最具影响力的平台的相关干货，和各方分享。本期微信，我们将推荐影视类的Netflix和新闻类的今日头条的算法技术。今天，算法分发已经是信息平台、搜索引擎、浏览器、社交软件等几乎所有软件的标配，但同时，算法也开始面临质疑、挑战和误解。今日头条的推荐算法，从2012年9月第一版开发运行至今，已经经过四次大的调整和修改。今日头条

以深度学习为代表的智能感知技术已经取得了突破性进展，并已在各行各业产生了巨大的价值。目前，人工智能的研究领域已经逐渐从感知智能向认知智能领域过渡，其中，深度学习无法解决的一个主要问题是常识推理问题。常识知识是人类智能的重要体现，在计算机中通常以符号逻辑的知识表示形式存储和处理。最近，常识推理在多个研究领域受到了广泛关注，泽宇调研了最新发表的关于常识推理和引入常识知识的研究论文并和大家一起分享学习。1. 常识问答常识推理是指评估环境状况并采取相应行动的能力。识别环境的隐式原因和结果的能力可以使机器.

论文推荐强化学习近年来取得了令人瞩目的成就，将其应用于自然语言处理领域也取得较大的进步。将NLP的任务看作一个序列决策问题，从语言中提炼出奖励及动作所处的文本环境。此外，强化学习在文本生成中具有不断试错的应用优势、在对话系统中通过将专家知识对未来的代理进行奖励建模，学习对话策略及策略决策等。故将强化学习应用于自然语言处理领域具有较大的优势。强化学习在自然语言处理领域中的应用越来越多，其在文本生成、机器翻译、等方面都有了深入的应用。本次推荐了7篇强化学习在自然语言处理领域应用的相关论文，主要涉及到文本

本文首先介绍了强化学习的概念和相关知识，以及与监督学习的区别，然后就强化学习在自然语言处理应用中的挑战和优势进行了讨论。1. 强化学习首先简单介绍一下强化学习的概念。强化学习是一种与监督学习不一样的学习范式，通过一个智能体与环境进行交互从而达到学习目标。其最重要的概念包括状态(state),动作(action),回报(reward)。智能体接收到环境的状态，对该状态做出一个动作，环境根据该动作做出一个回报。以走迷宫为例，state即为智能体所在的位置，action就是向东西南

作为提取性文档摘要中的关键步骤，学习跨句关系已通过多种方法进行了探索。 一种直观的方法是将它们放在基于图的神经网络中，该网络具有更复杂的结构以捕获句子间的关系。 在本文中，我们提出了一种用于提取摘要的基于异构图的神经网络（HETERSUMGRAPH），该网络包含除句子外的不同粒度级别的语义节点。 这些额外的节点充当句子之间的中介，并丰富了跨句关系。 此外，我们的图结构通过引入文档节点，可以灵活地从单文档设置自然扩展到多文档。 据我们所知，我们是第一个将不同类型的节点引入基于图的神经网络中以进行提取文档摘要并

Heterogeneous Graph Neural Networks for Extractive Document Summarization 异构图神经网络提取文档摘要 摘要 1 引言 2 相关工作 3 Methodology 3.1 Document as a Heterogeneous Graph 3.2 Graph Initializers 3.3 H...

最近基于transformer的一些NLP模型很火（比如BERT，GPT-2等），因此将transformer模型引入到推荐算法中是近期的一个潮流。transformer比起传统的LSTM、GRU等模型，可以更好地建模用户的行为序列。本文主要整理transformer在推荐模型中的一些应用。1. Self-Attentive Sequential Recommendation模型结构：b68d167ca5f3fd1b762102a575f006f3.png方法：符号定义：bbf5147

作者简介陈海青，阿里巴巴智能服务事业部资深技术专家，在阿里从事智能人机交互领域相关的工作和研究8年，带领团队构建了阿里巴巴智能交互机器人系统。本文来自陈海青在“携程技术沙龙——人机语义交互AI”上的分享。*视频由“IT大咖说”提供，时长约43分钟，请在WiFi环境下观看*1智能人机交互领域的介绍1.1行业分类及目前的应用状况在全球人工智能领域不断发展的今天，包括Google、Facebook、Microsoft、Amazon、Apple等互联公司...

快速神经网络的训练算法 --UC Berkeley博士尤洋快速神经网络的训练算法 --UC Berkeley博士尤洋为什么深度学习很慢？如果我们利用并行计算，怎样才能完美的利用大量的processor？为什么large batch size会引起精度降低？新优化器参考：快速神经网络的训练算法 --UC Berkeley博士尤洋本片文章介绍的两种算法不仅可以优化并行计算，在普通硬件环境中运行也是有效的。算法是由UC Berkeley博士尤洋开发。在固定精度的情况下，新算法可以更快的达到要求

刘知远老师曾经讲过“NLP搞事情少不了知识指导”。研究深度学习和知识如何更有效的结合成了越来越多人关注的课题了。本文尝试从文本生成的角度，对融合知识的idea做了一个简单的汇总，大致有4个较为典型的方式：多任务学习（生成+文本蕴含） 基于knowledge graph 的文本生成 基于memory network 的文本生成 结合分布-采样进行文本生成需要提醒的是，这篇博客没有涵盖问答、对话和阅读理解等本身就以“知识”和“逻辑”为重的文本生成任务；此外我的学习笔记仅仅是抛砖引玉，很欢迎大

分词是 NLP 的基础任务，将句子，段落分解为字词单位，方便后续的处理的分析。本文将介绍分词的原因，中英文分词的3个区别，中文分词的3大难点，分词的3种典型方法。最后将介绍中文分词和英文分词常用的工具。什么是分词？分词是 自然语言理解 – NLP 的重要步骤。分词就是将句子、段落、文章这种长文本，分解为以字词为单位的数据结构，方便后续的处理分析工作。为什么要分词？1.将复杂问题转化为数学问题在 机器学习的文章 中讲过，机器学习之所以看上去可以解决很多复杂的...

1.BERT的基本原理是什么？BERT来自Google的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT是” Bidirectional Encoder Representations from Transformers ”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。第一个任务是采用MaskLM的方式来训练语言模型，通俗地说就是

一只小狐狸带你解锁 炼丹术&NLP秘籍作者：林镇坤（中山大学研一，对文本生成和猫感兴趣）前言文本生成目前的一大瓶颈是如何客观，准确的评价机器生成文本的质量。一个好的评价指标（或者设置合理的损失函数）不仅能够高效的指导模型拟合数据分布，还能够客观的让人评估文本生成模型的质量，从而进一步推动text generation 商业化能力。然而由于语言天生的复杂性和目前技术限制，我们目前还没有一个完美的评价指标。本文就三方面对文本生成的评价指标介绍： 介绍了以BLEU为代表的基于统.

1. 引言    在传统的文本生成任务中，对于模型生成的文本，往往很难评估他们的质量，对于以往的做饭，一般会通过人工评估的方式来评选最优的模型，但是其评估过程是非常昂贵和耗时的，而且每个人的评估标准会不一致，从而导致评分出现误差，当研究人员对模型进行更新或改进之后，该过程又得重复进行，因此，影响了很多研究人员的效率。为了改善这个问题，很多学者开始对这方面进行研究，希望得出一些有效的自动评估方法，来自动对文本生成模型进行评估，这过程衍生出了很多方法，笔者通过查看近些年来的一些相关文献，对这些方法大致分为了

这几天NLP领域又炸锅了，Google又祭出预训练模型大杀器T5（Text-to-Text Transfer Transformer），既在情理之中，又在意料之外。在情理之中是因为，BERT及后续改进模型出来后，大的趋势是更复杂的模型和更多的数据，个人觉得Google应该不会满足于BERT，19年应该还会有大杀招出来。在意料之外是因为，没有想到T5会干得这么彻底，有一种惨无人道的感觉，这让大家以后还往哪做啊。下面所讲纯属个人思考，眼光有限，错误难免，谨慎参考。T5的出世我感觉让一些研究人员会有种绝.

作者：Scofield链接：https://www.zhihu.com/question/35866596/answer/236886066来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。概率图模型学习笔记：HMM、MEMM、CRF一、Preface二、Prerequisite 2.1 概率图2.1.1 概览2.1.2 有向图 vs. 无向图2.1.3 马尔科夫假设&马尔科夫性2.2 判别式模型 vs. 生成式模型2.3 序列建模三、H.

本文将介绍一套『独创』的语义匹配方法论和一个杀手级模型本文受众: 自然语言处理/问答系统/智能助手/搜索/推荐等相关行业从业者 对自然语言处理/智能助手感兴趣的普通读者 1. 引子『问&答』是人和人之间非常重要的沟通方式，其关键在于：我们要理解对方的『问题』，并给出他想要的『答案』设想这样一个场景，当你的女朋友or老婆大人在七夕前一晚，含情脉脉地跟你说亲爱的，七夕快到了，可以给我换个新手机吗？而此时沉迷王者峡谷的你，也许会不假思索地回答好啊亲..

我司开源了一个GPT2模型，进行Query生成。代码模型见链接：https://github.com/YunwenTechnology/QueryGeneration一、Query生成的目的及意义？在问答系统任务（问答机器人）中，我们往往会人为地配置一些常用并且描述清晰的问题及其对应的回答，我们将这些配置好的问题称之为“标准问”。当用户进行提问时，常常将用户的问题与所有配置好的标准问进行相似度计算，找出与用户问题最相似的标准问，并返回其答案给用户，这样就完成了一次问答操作。但是人为配置“标准

论文标题：A Generative Model for Joint Natural Language Understanding and Generation论文来源：ACL2020论文链接：https://arxiv.org/pdf/2006.0749...论文源码：https: //github.com/andy1946...Abstract自然语言理解和自然语言生成是构建任务型对话系统的两个基础而相关的工作，但两者处理的过程相反。NLU将自然语言转化为形式化的表达，而NLG则做相反的转换。在这

本文对百度入选ACL 2020的论文《Towards Conversational Recommendation over Multi-Type Dialogs》进行解读，该论文提出了一个新对话任务：融合多个对话类型的对话式推荐。本论文地址：https://arxiv.org/pdf/2005.03954.pdf建议大家点击阅读以下文章，以更加了解人机对话技术：一文看懂人机对话：https://mp.weixin.qq.com/s/fkcZOVJUreZqj7aQBkslog动机人机对

　自Google于2018年发布预训练语言模型BERT ，并在11项自然语言处理（NLP）任务上取得最好成绩，预训练语言模型开始得到学术界和工业界的极大关注，已经成为自然语言处理的新范式。各个公司和高校的研究团队陆续推出了新的预训练语言模型，并不断刷新NLP任务上的记录，如CMU和Google推出的XLnet ，Facebook AI推出的RoBERTa ，百度推出的ERNIE 等。　　华为诺亚方舟实验室语音语义团队与海思、云BU等团队合作，共同研究大规模预训练模型的训练技术，发布了自己的中文预训练语言

在现如今的NLP竞赛中，信息抽取（IE）任务已占据半壁江山。来，让我们看看今年的一些IE竞赛都有啥：看到如此众多的IE竞赛，心动的JayJay抽空参加了CHIP2020（中国健康信息处理大会）中的3个评测，最终获得了2个冠军、1个季军，具体如下表所示：评测任务名称 所获名次 评测网址 中文医学实体关系抽取 第一 http://cips-chip.org.cn/2020/eval2 临床医学术语标准化 第一 http://cips-chip.org.cn

Introduction开放的chatbot API总结cleverbot API: https://www.cleverbot.com/api/ https://github.com/plasticuproject/cleverbotfree xiaobing: https://www.msxiaobing.com/ mitsuku: https://www.pandorabots.com/mitsuku/ https://github.com/hanwenzhu/mitsuku-a

在上一篇文章中我们介绍了基础版的beam search，这篇文章是对它的一个扩展，可以在模型不改的情况下获得更好的生成结果。今天的介绍围绕的也是一篇蛮新的论文，《The Curious Case of Neural Text Degeneration》，根据这篇论文的版面内容，它应该已经被ICLR 2020接收了。论文截图Beam Search的问题先解释以下什么要对Beam Search进行改进。因为Beam Search虽然比贪心有所改进，但还是会生成出空洞、重复、前后矛盾的文本。如果你有文

http://www.techweb.com.cn/ucweb/news/id/2785497百度于去年10月公布的通用领域对话生成预训练模型PLATO，最近已正式被ACL 2020接收。PLATO是业界首个基于隐空间（Latent Space）的端到端预训练对话生成模型。据悉，该模型利用隐向量来表示对话的潜在方向，从而达到对话内容丰富度和流畅度的显著提升。针对具体对话任务，基于PLATO可以用少量数据训练得到非常流畅的对话系统。论文名称PLATO: Pre-trained Dialogue Gen

对每个句子进行分词和词性标注处理 过滤掉除指定词性外的其他单词，过滤掉出现在停用词表的单词，过滤掉长度小于2的单词 将剩下的单词中循环选择一个单词，将其与其后面4个单词分别组合成4条边。例如：[‘有’,‘媒体’, ‘曝光’,‘高圆圆’, ‘和’, ‘赵又廷’,‘现身’, ‘台北’, ‘桃园’,‘机场’,‘的’, ‘照片’]对于‘媒体‘这个单词，就有（‘媒体’, ‘曝光’）、（‘媒体’, ‘圆’）、（‘媒体’, ‘和’）、（‘媒体’, ‘赵又廷’）4条边，且每条边权值为1，当这条边在之后再次出现时，权值

文章目录 Abstract 1 Introduction 2 Model 2.1 Background: Seq2Seq and Attention 2.2 Architecture Overview 2.3 Encoder 2.4 Knowledge Manager 2.5 Decoder 2.6 Loss Function 3 Experiments 3.1 Dataset 3.2 Models for Comparison

Attention 的本质是什么Attention（注意力）机制如果浅层的理解，跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点」。Attention的本质Attention 机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。大家看一下下面这张图：人眼看图片我们一定会看清「锦江饭店」4个字，如下图：视觉焦点在锦江饭店但是我相信没人会意识到「锦江饭店」上面还有一串「电话号码」，也不会意识到「喜运来

基于BERT的超长文本分类模型0.Abstract 1.任务介绍 数据集 评估方法 测试集 2.数据初步处理 3.Baseline模型 4. 数据进一步处理 分割文本 4.最终模型 第一部分: BERT 第二部分: LSTM + FC 最终效果和一些小节 5. 进一步拓展: BERT + Transformer0.Abstract本文实.

By 超神经场景描述：Facebook 近日开源了新的聊天机器人 Blender，表现优于现有对话机器人，更具个性化。关键词：Facebook 聊天机器人 Blender4 月 29 日，Facebook AI 和机器学习部门 FAIR 发布博客宣布，经过多年研究，他们已近构建并开源了一个新的聊天机器人 Blender。Blender 结合了多种对话技能，包括个性、知识和同理心，能够使 AI 更具人性化。击败谷歌 Meena，更像人类FAIR 声称Blender 是 Git...

开放域问答（Open-domain QA）一直是自然语言处理领域的重要研究课题。百度从面向端到端问答的检索模型出发，提出了RocketQA训练方法，大幅提升了对偶式检索模型的效果，为实现端到端问答迈出了重要的一步。RocketQA已逐步应用在百度搜索、广告等核心业务中，并将在更多场景中发挥作用。近日，百度提出了面向端到端问答的检索模型训练方法 RocketQA，该方法针对模型训练中存在的问题，通过跨批次负采样（cross-batch negatives）、去噪的强负例采样（denoised hard n

百度于去年10月公布的基于飞桨开源深度学习平台开发的通用领域对话生成预训练模型PLATO，相关论文最近已正式被ACL 2020接收。PLATO是业界首个基于隐空间（Latent Space）的端到端的预训练对话生成模型。据悉，该模型利用隐向量来表示对话的潜在方向，从而达到对话内容丰富度和流畅度的显著提升。针对具体的对话任务，基于PLATO可以用少量数据训练得到非常流畅的对话系统。论文名称：PLATO:Pre-trained Dialogue Generation Model with Discr

机器之心发布机器之心编辑部近日，百度发布对话生成网络 PLATO-2，宣布在开放域对话生成模型上迎来重要进展。PLATO-2 承袭 PLATO 隐变量进行回复多样化生成特性，模型参数高达 16 亿，涵盖中英文版本，可就开放域话题深度畅聊。实验结果显示，PLATO-2 中英文对话效果已超越谷歌 Meena、微软小冰和 Facebook Blender 等先进模型。百度 NLP 于去年 10 月预公布了通用领域的对话生成预训练模型 PLATO，近期在 ACL 2020 上展示。最近，百度又新发布了超

本文首发于机器之心微信公众号，专栏留存。近日，在由斯坦福大学发起的对话式问答挑战赛 CoQA (Conversational Question Answering Challenge）中，追一科技AI Lab团队超越微软团队成为榜单第一[1]，刷新了之前微软等团队创造的CoQA纪录。值得注意的是，团队提交的技术方案中，单模型的各项指标表现首次全面超越人类。CoQA Leaderboard一直以来，机器阅读理解都是自然语言处理界最受关注、进步最快的技术方向之一，主要有两大比赛较受瞩目，分别

【ACL 2019】揭秘认知图谱！从多跳阅读理解问答开始Phoenix Cat劝退人工智能新天坑“机器的阅读理解与问答”一直以来被认为是“自然语言理解（NLU）”的核心问题之一，随着BERT等模型的兴起，单段落的简单阅读理解任务取得了重大突破；研究者将目光转向更能体现机器智能的“多跳”“复杂”情形。本篇论文介绍了基于认知中“双过程理论（dual process theory）”的CogQA模型，文章提出一种新颖的迭代框架：算法模拟认知学中人类的两个认知系统，并维护一张认知图谱（Cogni..

一 机器阅读理解（MRC）、问答系统（QA）与信息抽取最近实体关系抽取任务和命名实体识别任务的SOTA模型排行榜中，有很多模型使用到了机器阅读理解（MRC）和问答系统（QA）中思想和方法，如HBT、ETL-span、Multi-turn QA和BERT_MRC等，MRC和QA中的思想和方法的使用，让这些模型相比于传统方法有很大提升。在实体关系抽取任务中，最新的一些模型，如HBT和ETL-span，用到了MRC中经常使用的指针网络方法，通过多层标注序列解决实体重叠问题；Multi-turn QA则使用

## 开源的标注工具自然语言处理标记工具汇总https://blog.youkuaiyun.com/wangyizhen_nju/article/details/94559607spacy原来有两个标注工具，displaCy-ent和displaCy，一个ner一个依赖关系.Annotator for Chinese Text Corpus (UNDER DEVELOPMENT) 中文文本标注工具自然语言处理的大部分任务是监督学习问题。序列标注问题如中文分词、命名实体识别，分类问题如关系识..