如何构建知识图谱？

本文根据转转张青楠老师，在DataFun AI+ Talk中所分享的《二手电商知识图谱构建以及在价格模型中的应用》编辑整理而成。

一、知识图谱概述

这次的分享主要从以下四个部分：知识图谱概述、知识图谱构造、转转二手电商知识图谱、在价格模型中的应用。

1.1 什么是知识图谱

知识图谱是谷歌在2012年提出来的，最初的目的是优化其搜索引擎。在现实世界中是存在很多的实体的，各种人、物，他们之间是相互联系的。知识图谱就是对这个真实世界的符号表达，描述现实世界中存在的一些概念，以及它们之间的联系。具体来说是一个具有属性的实体，通过关系连接而成的网状知识库。

1.2 知识图谱的基本组成

在电商的知识图中，包括用户、商家、商品，他们带有各自的属性，彼此之间又互相联系。知识图谱的基本组成三要素：实体、属性、关系。实体-关系-实体 三元组；实体-属性-属性值三元组，在电商的知识图谱中，用户和商品都是实体。

在知识图谱中，有一类特殊的实体叫做本体，也叫做概念或语义类。它是一些具共性的实体构成的集合。比如说，比尔盖茨和乔布斯都是人，微软和苹果都是公司。

二、知识图谱构建

目前的知识图谱分为两类。一类是开放域的知识图谱，另一类是垂直领域的知识图谱。比如谷歌为搜索引擎所建立的知识图谱就属于开放域的。垂直领域的知识图谱，比如说金融的，电商的。

首先就是要先处理数据。互联网上的数据基本上都是结构化的，非结构化的和半结构化的。结构数据一般就是公司的业务数据。这些数据都存储到数据库里，从库里面抽取出来做一些简单的预处理就可以拿来使用。半结构化数据和非结构化数据，比如对商品的描述，或是标题，可能是一段文本或是一张图片，这就是一些非结构化数据了。但它里面是存储了一些信息的，反映到的是知识图谱里的一些属性。所以需要对它里面进行一个抽取，这是构建知识图谱中比较费时费力的一个工作。

从数据里需要抽取的其实就是之前所提到的实体、属性、关系这些信息。对于实体的提取就是NLP里面的命名实体识别。这里相关的技术都比较成熟了，从之前传统的人工词典规则的方法，到现在机器学习的方法，还有深度学习的一些使用。比如说，从一段文本里面，我们提取出来比尔盖次这个实体以及微软这个实体，然后再进行一个关系提取。比尔盖次是微软的创始人，会有这么一个对应的关系。另外还有属性提取，比如比尔盖茨的国籍是美国。在这些提取完成之后都是一些比较零散的信息，然后在再加之前用结构化信息所拿到的东西以及从第三方知识库里面所拿到的信息做一个融合。

       另外还需要做的是实体对齐和实体消歧。

关于实体对齐。举例来说，比尔盖茨这四个字是中文名称，Bill Gates是他的英文名称，但其实这两个指的是同一个人。由于文本的不一样，开始的时候导致这是两个实体。这就需要我们对它进行实体对齐，把它统一化。

      另外是实体消歧。举例来说，苹果是一种水果，但是在某些上下文