lhy2014的博客

目前，知识图谱在学术界如火如荼地进行，但受限于知识图谱各个环节中的性能问题，还尚未能够在工业界大规模运用。而与知识图谱中以实体为知识节点，实体关系为实体关系边对知识进行组织不同，以事件作为节点，事件关系作为节点关联的三元组信息的抽取和应用，当前也是大家在探索的一个方向（即事理图谱，先撇开其建模和应用现状不讲）。笔者之前围绕事件关系三元组抽取，结合语言学背景，尝试了一些朴素方式下的事件关系三元组、事件主谓宾三元组抽取的工作。如：顺承事件关系三元组抽取，地址：https://github.com/liuh

知识结构化问答是知识图谱的一个重要的应用方向，虽然现在许多真实的使用体验上，会被评价为“鸡肋且智障”，并且在落地上还没有太多的付费场景，但也不乏有不少学生、公司、机构在尝试花时间去做这个事情。当前，医疗知识图谱QAonMilitaryKG，成为了不少朋友都会参考的一个问答快速实现demo的案例，网上也有不少的复现和踩坑记录总结。本文则围绕着医疗知识图谱QAonMilitaryKG和军事武器知识图谱问答两个项目进行简要介绍，希望可以作为大家的一个指引。一、军事武器知识图谱构建与自动问答项目QAonMilit

知识图谱本质上是一种图结构，在图内部数据规模大且质量高、外部算力足够的情况下，充分利用好图算法，能够最大程度地发挥出其数据价值。实际上，图（Graph）是一个常见的数据结构，现实世界中有很多很多任务可以抽象成图问题，比如社交网络，蛋白体结构，交通路网数据，以及很火的知识图谱等，甚至规则网络结构数据（如图像，视频等）也是图数据的一种特殊形式。而随着数据多样性的发展，图计算已经成为业界的一个重要的研究方向，其中图神经网络广泛应用于图的表征学习，与传统的图学习相比，既能学习图网络的拓扑结构，也能聚合邻居特征...

笔者之前写过一篇文章《关于知识图谱标准化构建平台的思考：知识图谱只能做项目，不能做平台？》，地址：https://blog.youkuaiyun.com/lhy2014/article/details/119857488，从技术实现的难度上，对这一平台的实现发表了自己的看法，也突出了其中确实存在的一些现实难题。而即便如此，知识图谱平台，作为一个面向不同领域的标准化、可复用平台，是各大知识图谱公司、企业都在努力的方向。那么，作为一个标准化的知识图谱平台，其构成是怎样的，其数据流程与构建范式是按照一个怎样的流程进行的。带着

当下，越来越多的人在贩卖焦虑。当我们打开知乎、脉脉、公众号、软文、自然语言处理速成机构等发布的文章和消息时，总能看到自然语言处理算法岗灰飞烟灭、算法岗高薪速成宝典等传递和炒作焦虑的身影。这些身影，直接导致了越来越多的人陷入一种茫然与迷茫之中，在算法岗高薪的诱惑之下，越来越多人（无论是科班的，半路出家的），都加入到算法岗的从业大潮之中，并且逐步形成了市场中人员素质参差不齐、鱼龙混杂，最终劣币驱逐良币的畸形形态。近期，有不少朋友来信，表示对当前的状态很不满，希望能够尽快地找到一个合适的方向、快速的学习方式，提

话题演化关系网络生成，是实现事件演化追踪的一个重要方法。通过对文本话题进行聚类、内容处理、话题演化关联、话题演化网络的展示，能够在一定程度上为用户揭示出一个事件发展的情况。本文就笔者对该方向的实现路线思考进行总结，分享给大家。一、文本话题聚类1、使用single-pass趟次聚类算法，将聚类的相似度阈值设置为0.6，对给定主题的所有文本进行聚类，得到多个话题类及每个类别下对应的文档集合。2、假设一个话题下必须包含的文档数量大于某个阈值，否则不能成为话题。在本次实验中，将类下文档数量小于2的主题进行删除

大部分技术都会经历从提出，到验证，再到修正，再到落地的这样一个过程。事理图谱这个概念从国内学者自2017年提出到现在，已经经历了近4年的时间，那么在这四年的时间里，事理图谱目前处于一个什么样的状态。事理图谱，当前自然处于什么处理的状态。事理图谱包括事件的界定、事件关系的抽取、事件融合、事件要素提取、事件抽象、事件演化概率计算等多个技术核心点。首先，对于事件的界定上看。目前还没有看到一个标准的表示方案。我之前写过的早期文章中有介绍，事件的表示可以用核心动词(这个在目前的学术界评测集semeval，cec中采

一、前言只有把自己所思考的，所认识的东西，以文字的方式记录下来，才是对自己成长最好的记录方式。是的，距离上一次动手写博客或者技术文章已经过去了大半年的时间。作为一个比较喜欢总结的人，这无疑是一个一大段空白。对的，今年，我经历了一场很不可思议的事情。学业与工作经历起伏。从三月份到六月份这四个月的时间里，困在一个怎么也走不出的低谷。因此，今年我做了一个我从未想过的决定，我离开了工作整整四年(加上实习是五年)的中科院软件所，投身互联网。软件所的五年里，我以极大的热情执着于自然语言处理技术的基础研究和应用落地。

从知识图谱被大家所熟知之后，知识图谱自身已经已经成为“知识图谱+”的一个潮流，许多领域、许多行业在各个层级，都在大规模地进行知识图谱方面的结合尝试。而这种尝试，本质上包括两种，一种是以项目的方式做知识图谱，即解决方案，另一种是以产品的方式做知识图谱，即做标准化的知识平台。不同的做法会带来不同的问题，最近自己也正经历着这两种方式的转变，发现了一些问题，有些思考，写出来与大家一同分享。一、知识图谱标准化平台的六个问题1、知识图谱当前的应用场景是什么？关于知识图谱的应用场景，目前畅想的已经足够过。但本质上，

PersonGraphDataSetPersonGraphDataSet, nearly 10 thousand person2person relationship facts that build from extraction method, which can be applied to person kg search and inference applications。 人物图谱数据集，近十万的人物关系图谱事实数据库，通过人物关系抽取算法抽取+人工整理得出，可用于人物关系搜索、查询、人物关

一、背景介绍第十四届全国知识图谱与语义计算大会(CCKS 2020) 11 月 12 日至 15 日在江西南昌举行，CCKS（China Conference on Knowledge Graph and Semantic Computing）是由中国中文信息学会语言与知识计算专委会定期举办的全国年度学术会议，CCKS 已经成为国内知识图谱、语义技术、语言理解和知识计算等领域的核心会议。中国科学院软件研究所&数据地平线在事理图谱方面的应用工作《C13. 刘焕勇等.面向开放文本的逻辑推理知识抽取与

一、议题昨日，阿里达摩院唐呈光老师与我就行业知识图谱的schema的构建对于业务人员是不是有困难以及其中的难点或者耗时点做了一个剪短的讨论，我觉得很有趣，发出来与大家一同思考。唐：唐呈光，阿里巴巴算法专家小蜜对话开发平台对话引擎负责人刘：刘焕勇，中国科学院软件研究所工程师、数据地平线算法总监二、 正文唐：焕勇，有个问题想和你探讨一下，你觉得行业知识图谱的schema的构建对于业务人员是不是有困难？这其中的难点或者耗时点，到底在哪里？刘：唐老师，简单说两点自己的拙见。刘：1、是的，尤其是刚入行不

事理为核心的自然语言处理项目 项目类型 中文名称 技术点 技术公众号 数地工场技术文章 面向事理图谱、知识库构建、社会计算等技术落地探索 事理自然语言处理语义平台 数地工场 信息抽取、舆情分析、语义计算、信息采集类、问句解析类api 7*24小时实时抽象事理学习、搜索与关联推理系..

可信知识实证在UGC时代情报应用中的思考与探索在当前互联网高度发达、可发布信息源和信息渠道猛增且多元化的大背景下，信息形态变得广泛且多模。从传统的纸质文档，到中期的电子结构化文档、电子非结构化文本，再到如今的语音信息、图片信息、视频流信息鼎立的局面，信息市场变得复杂而多变。在UGC（用户生产内容）以及数据众包生产的大环境下，存在广泛的信息过载和信息混乱的问题。但情报的挖掘、信息的二次加工显得尴尬且必须，这对数据生产中的数据获取端、知识抽取环节以及业务端三个方向提出了更高的要求。事实上，支撑起目前自然语

句子变换，是指根据给定中文句子，借助某种语言处理手段，扩展出一定数据规模的中文句子集合，是一个从1到N的过程，目的在于解决搜索（查询扩展）、分类（样本扩充）、抽取（数据回标）、推荐与生成（关联引导）等多个工业级应用任务。我们发现，在处理以上几个任务的过程中，句子级别的操作，是以句子中的词为基本单位来实现的，即以词的更换、删除，语序和组合规则的重组等操作为基本手段。将词的这种操作依据进行有效整理和形式化，是一项重要的工作，我们在实际开发过程中，对该工作的成果进一步归类成“抽象知识”、“同义知识”、“简称知

6月10日，“网信中国”微信公众号发布消息称：微博热搜榜、热门话题榜暂停更新一周，这使得很多热榜平台都受到波及，而在吃瓜之余，我们更进一步地思考热点榜单以及热点名称生成背后的技术，并发出两连问：热点名称是否仅仅来源于用户搜索，还是源于对用户搜索内容的进一步提炼和精简？对于现在每天发布的大量资讯，如何将资讯中的热点提取出来，并为热点生成一个形式简短、表达通顺、语义完整的名称？实际上，“热点名称”这一最终的输出结果，对于整个事件提取来说，是个实实在在的“门面技术”，热点名称是否一目了然，是否具有明显的代表性

知识搜索，对于一个企业而言，目前无论是在对内管理还是对外服务的业务上，都有着大量的需求，并表现出急迫性的特征。例如，很多企业都积累了大量的企业知识资产，并且规模以每年200%的速度增长，其中80%以上的数据是以文件、邮件、图片等非结构化数据的形式，存放于企业内计算机系统中的各个角落，并且这些数据的总量，远远超过了互联网信息的总量，这些数据给整理带来很大的难度。又如，银行各个部门拥有众多IT系统，系统中存储大量数据、信息，数据结构复杂，每个系统都拥有简单的“数据库检索”功能，但常常出现找不到、找不准、找不

1、 人类语言的语法知识。不同的人类语言有不同的语言表达形式，包括语言符号，语言符号的组合和应用规则。阿拉伯文字、斯拉夫文字、罗马文字、拉丁文字、象形文字等代表着不同语言背景、语言文化。2、 机器可用的词典知识库有哪些？1） 类别词库。特定实体词、功能词、非功能词。2） 组合词库。组合词库包括搭配词库，共现词库。a) 搭配词库：i. 位置共现：窗口共现、互信息、卡方ii. 句法共现：成份共现(VP/NP)、依存共现(SBV,VOB,ATT,POB等)iii. 语义共现：语义角色共现(工具，结

金融情报挖掘是情报领域的一个重要分支，通过对金融领域信息进行提取和分析，发现关联线索，对传导关联进行建模，能够挖掘出市场变动的规律，最终辅助决策。例如，国内外资本市场，衍生品市场热点不断，如“原油跌停”、“智利地震”、“美股暴跌”、“华鑫期货违反法律法规”、“期货公司抵制文华财经”等，这些事件涉及多个金融机构、人物、产品等多类实体。通过舆情分析，寻找这些事件之间的传导关系，对市场产品（国债期货、股指期货）趋势的影响有着重要意义。通过舆情分析，寻找这些事件之间的传导关系，对市场产品（国债期货、股指期货）

美国国防高级研究计划局（Defense Advanced Research Projects Agency），简称DARPA，提出了旨在从推进人工智能常识推理能力发展、深化机器学习理论研究和推进国防部复杂问题中应用人工智能、深化美军对人工智能的研究和应用的“的下一代人工智能”计划。具体包括有：知识导向的“人工智能推理图谱”（KAIROS ）、“世界建模者”（World Modelers ）、“大机...

如何看待事理图谱版magi–“学迹”看到界面和功能都似乎很相似，除了magi更通用一些，这个系统更专注“事件”这个领域，请问两者的区别是什么？或者说这个系统就是利用magi背后的技术做的？@zhangmianhongnizhangmianhongni commented 2 hours ago同问，一看风格就是magi一样回复大家:感谢关注,我更倾向于称它为"事理图谱版的MAGI,也...

EventKGNELLEventKGNELL, event knowlege graph never end learning system, a event-centric knowledge base search system，实时事理逻辑知识库终身学习和事件为核心的知识库搜索项目。包括事件概念抽取、事件因果逻辑抽取、事件数据关联推荐与推理。一、 “学迹”项目的起源与愿景“踏雪有痕，抓...

我们团队探索了一种将事件、概念、逻辑、实时学习、多类知识库实时更新串起来的知识服务新模式。一个面向事理的实时学习和搜索系统Demo，取名叫“学迹”，取自“学事理，知行迹”。一、 “学迹”的起源与愿景“踏雪有痕，抓铁有印”，“来时须有影，去时更有踪”，万物皆有迹可循。语言是社会的镜子，每天产生的文本中蕴含了大量的事件知识，清晰地记录了社会发展中各个事物在人们脑海中的印象以及自身发展和演变的轨迹...

词是语言系统中重要的语言单元，词语是开展文本处理的基础，在语义表示上具有比字符更丰富的表达能力。词语具有领域特性，不同的领域具有不同的词汇体系，如军事领域、医疗领域、公共治安领域、金融领域之间存在着很大的差异性。这种领域性的特性，一方面可用于领域分类、领域标签化、领域区分、关键词提取以及特征词提取，也可支持知识图谱知识体系如本体与实例体系的搭建。另一方面，也提出了领域词汇的抽取，领域词汇之间语义关...

重磅！数地工场开放平台正式对外发布2020年的钟声即将敲响，在这辞旧迎新之际，经过近几年在Fintech领域中的自然语言处理技术研发和产品迭代积累，数据地平线Datahorizon迎来重大更新，以数据、事件、逻辑的语义toolbox为愿景的数地工场开放平台V1.0正式对外发布。数地工场链接：http://nlp.zhiwenben.com欢迎大家前来体验并提出建议。01，什么是数地工场数...

1，知识图谱理想上双层结构，实际单层知识图谱是个双层结构。模式层和实例层，模式层，又称为本体层，模式层分成两个部分，一个是概念的上下层级，另一个是概念之间的关系层或者概念的自身属性信息层。前者规定了概念类之间的类关系，赋予了概念之间可以继承的特性，后者定义了不同类自身的属性和关系变体。严格意义上来说，知识图谱中的模式层对数据项的取值是有严格定义的，例如数据库中的各种数据类型(字符串型、float...

我们一直在事理图谱的探索和应用路上不断前行。。。【中科院软件所】数据地平线的金融事理图谱Demo已经和大家见面有一段时间了(Demo地址：http://eg.zhiwenben.com/)，这段时间我们收到了很多用户的建议反馈和合作邀约，大家对产品的认可和喜爱我们深表感谢。今天，金融事理图谱Demo 3.0大版本正式推出，新版本在算法层面进行了深度优化，并在由因及果基础功能上加入了由果溯因，事...

知识图谱是什么，有太多的理解，在工作过程中遇到一些朋友的需求，很多都是凭着对知识图谱那张可视化的图的记忆来看说，能够帮他们做知识图谱，这难免暴露出现在行业创新的急躁。当然，对于知识图谱是什么，教材是最好的例子，目前先后有高教社赵军老师团队的知识图谱，电子工业出版社肖仰华老师的知识图谱概念，也有陈华钧老师的知识图谱构建实战。第一本教材很偏学术理论，从知识工程的角度上来说的知识图谱，作者都是做实体关系...

      语言计算与信息抽取是自然语言处理中两块重要内容。本文将根据自己的工作总结，形成了语言计算与信息抽取的知识图谱分布图。一、总体图谱二、概念抽取三、实体抽取四、事件抽取五、语言监测六、文本计算内容七、文本内容计算应用总结      本文介绍了关于语言计算与信息抽取关联知识网络，作为...

知识图谱，从2012年谷歌正式将这一概念应用到工业界之后，到现在已经逐步走过了将近7年的时间，在这七年的时间里，知识图谱逐步经历了从概念兴起、概念泛化、技术应用三个环节。...

历史经验知识在未来预测的应用华尔街的独角兽Kensho，是智能金融Fintech的一个不得不提的成功案例，这个由高盛领投的6280万美元投资，总融资高达7280万美元的公司自推出后便名声大噪。Warren是kensho是一个代表产品，用户能够以通俗易懂的英文来询问Warren金融问题，例如“当三级飓风袭击佛罗里达州时，哪支股票上涨得最快？”在回答这个问题的时候，它会在后台强大的全球历史事件库中进...

研究证实，人类从一出生即开始累积庞大且复杂的数据库，包括各种文字、数字、符码、味道、食物、线条、颜色、公式、声音等，大脑惊人的储存能力使我们累积了海量的资料，这些资料构成了人类的认知知识基础。实验表明，将数据依据彼此间的关联性进行分层分类管理，使资料的储存、管理及应用更加系统化，可以提高大脑运作的效率。知识库是实现人工智能的基础元件，知识库是理解人类语言的背景知识，而如何构造这个知识库，找到一种合...

运用事理图谱搞事情：新闻预警、事件监测、文本可视化、路径规划与快报生成        目前，事理图谱在描述领域事件时空信息上具有独特性，这种逻辑图结构能够以一种直观的方式向我们展现出一个领域知识的链路信息。从学术的角度上来说，事理图谱与事件抽取、事件关系抽取、脚本学习、事件链生成、篇章句间关系识别、图谱图结构运算等多个研究方向关系密切，具

事件、事件抽取与事理图谱    人类社会是一个静态事物进行动态活动所创造形成的世界，人类的命题记忆是以“事件”为存储单位的，存储的是组成事件的概念及其之间的关系以及事件及其之间的关系，以事件作为知识的基本单元更能反映客观世界的知识，特别是知识的动态性，从认知心理学的角度来看，事件更符合人类的理解与思维习惯。知识库是机器实现认知智能的根本前提之一，如何让机器...

PersonalModernPoemsPersonal Modern Poems,65 modern chinese pomes composed by myself which names ‘听说’<listening> that expresses the thought of life, love and surrounding during my bachelor perio...

ChineseNLPcorpusAn collection of Chinese nlp corpus including basic Chinese syntactic wordset, semantic wordset, historic corpus and evaluate corpus. 中文自然语言处理的语料集合，包括语义词、领域共时、历时语料库、评测语料库等。本项目简单谈谈自己对语...

简介 Knowledge Graph Slides, a collection of knowledge graph lectures, including the ccks series from 2013 to 2018, 中文知识图谱计算会议CCKS报告合集，涵盖从2013年至2018年，共48篇，从中可以看出从谷歌2012年推出知识图谱以来，中国学术界及工业界这6年来知识图谱的主流思想变...

EventPredictBasedOnEGfuture event predict demo based on causal event graph that covers the full industries that can predict the benefits or bad effects in accordance with the event given by the user,...

ZhidaoChatbotZhidaoChatbot, a chatbot that can be an expert on the common questions like why,how,when,who,what based on the online question-answer website，基于线上公开问答数据的知道类问答机器人demo，与检索方式不同，可以进行常规问题的问答，...

过去几个月，深陷所谓“事理图谱”当中，苦恼不已。从2018年4月份开始做所谓的“事理图谱”以来至今，磕磕碰碰，做了很多技术上的尝试，也不乏在应用事理图谱上尝试了多种做法，也不乏写了几篇关于事理图谱的文章（实际有未想明白之处）。现在写个阶段性的总结，以对过去在“事理图谱”中的工作进行一种反思。什么是事理图谱1、事理图谱是怎么来的？实话的说，“事理图谱”这个词是国内哈工大刘挺老师首次提出，对应于...