smartcat2010的博客

重要论文介绍

简介1、非端到端学习（传统的语音识别系统）传统的语音识别需要把语音转换成语音特征向量，然后把这组向量通过机器学习，分类到各种音节上（根据语言模型），然后通过音节，还原出最大概率的语音原本要表达的单词，一般包括以下模块：特征提取模块 (Feature Extraction)：该模块的主要任务是从输入信号中提取特征，供声学模型处理。一般也包括了一些信号处理技术，尽可能降低环境噪声、说话人等...

原文今天我们来讲下最近比较博眼球的联邦学习。应该很多人听过但是始终都没懂啥是联邦学习？百度一下发现大篇文章都说可以用来解决数据孤岛，那它又是如何来解决数据孤岛问题的？对于联邦学习，大部分文章还都处于其学术分享会的报道阶段，并未详细介绍联邦学习的实现方法，难以理解其真容，本篇文章将从技术角度介绍联邦学习。1、联邦学习的背景介绍近年来人工智能可谓风风火火，掀起一波又一波浪潮，从人脸识别、活...

引言2018年12月31日，美团酒店单日入住间夜突破200万，再次创下行业的新纪录，而酒店搜索在其中起到了非常重要的作用。本文会首先介绍一下酒店搜索的业务特点，作为O2O搜索的一种，酒店搜索和传统的搜索排序相比存在很大的不同。第二部分介绍深度学习在酒店搜索NLP中的应用。第三部分会介绍深度排序模型在酒店搜索的演进路线，因为酒店业务的特点和历史原因，美团酒店搜索的模型演进路线可能跟大部分公司都不...

人工智障 2 : 你看到的AI与智能无关意图识别===>找到问题对应的表格；命名实体识别===>找到问题中提到的实体，填表；表里还剩下哪些空，根据空的字段类型，问相应的问题；识别回答里的实体，填表；Loop until 表里无空了；...

LeCun、Bengio、Hinton三巨头曾合体，Nature发文综述深度学习（论文精华）深度学习三巨头Yann LeCun、Yoshua Bengio、Geoffrey Hinton曾在Nature上共同发表一篇名为《深度学习》的综述文章，讲述了深度学习为传统机器学习带来的变革。从2006年Geoffrey Hinton为世人展示深度学习的潜能算起，深度学习已经蓬勃发展走过了10多个年...

Bert 给人们带来了大惊喜，不过转眼过去大约半年时间了，这半年来，陆续出现了与Bert相关的不少新工作。最近几个月，在主业做推荐算法之外的时间，我其实一直比较好奇下面两个问题：问题一：Bert原始的论文证明了：在GLUE这种综合的NLP数据集合下，Bert预训练对几乎所有类型的NLP任务（生成模型除外）都有明显促进作用。但是，毕竟GLUE的各种任务有一定比例的数据集合规模偏小，领域也还是...

Bert时代的创新：Bert应用模式比较及其它根据几篇相关论文的实验结果，得到一下分析和结论：1. 对比了特征集成和fine-tuning两种方式的优劣，结论是，在不同的任务上效果是各不相同的。采取Fine-tuning的模式更有可能达到最优效果。2. 对比了只是用顶层输出和加权平均各个层输出的优劣，结论是：可能跟任务类型有关，不同类型的任务可能结论不太一样，背后可能有更深层的原因在起...

对NLP以及推荐系统未来发展趋势的看法我觉得Bert的出现比把深度学习引入NLP还要重要些，主要原因是Bert的两阶段模式效果远远超出预期。另外，它给NLP研发者趟通并指明了一条光明大道：就是通过自监督学习，把大量非监督的文本充分利用起来，并将其中的语言知识编码，对各种下游NLP任务产生巨大的积极作用。而且我的个人判断是：Bert+Transformer有可能在未来几年替代掉NLP各个不同...

内容审核：机器认为没有潜在问题的内容才会给人工去抽检。在线教育：实时互动，所以延迟要求很高。如果在虎牙看游戏直播，两三秒延迟很正常，而我们的延迟一定要在 200 毫秒以内。比如说直播可能是走的 CDN 推流拉流，我们不是这样的，我们全部是核心机房实时语音视频的流交换。比如说最基本的是学生的年级，修的教材版本，本身的学业成绩，每个人都有大量的标签来标志他是这样一个用户画像的学生，然后我...

对话 CTO〡听知乎 CTO 李大海讲技术如何构建全领域知识社区内容治理场景中：我们综合使用情感模型、用户亲密度模型和文本识别模型，不断优化算法机器人「瓦力」，识别并实时处理不友善、答非所问、阴阳怪气等内容，部分场景识别准确率达到 99.13%。在社区治理领域，我们采用的是「人机结合」的方式来进行系统优化：我们会保留一个人数较大的人工团队，他们非常了解知乎的社区规则，他们会处理、纠正算法不...

AutoML：机器学习的下一波浪潮自动机器学习（AutoML）是将机器学习应用于现实问题的端到端流程自动化的过程。AutoML 使真正意义上的机器学习成为可能，即使对于没有该领域专业知识的人也是如此。AutoML 主要关注两个主要方面：数据采集 / 收集和预测。中间发生的所有其他步骤都可以轻松实现自动化，同时提供经过优化并准备好进行预测的模型。NAS自动挑选网络结构和调参...

周明：NLP的进步将如何改变搜索体验？搜索引擎最重要的2件事：1. 智能程度，指的是理解用户意图和文档，然后快速找出答案，这是智能部分；2. 是自然程度（Naturalness），指的是根据用户输入的搜索请求，把搜索结果很自然地展现给用户，整体表现就是搜索非常流畅。输入框，用于输入Query。Context/Query Understanding：搜索引擎首先要理解Context，就是什...