21、知识图谱构建与搜索引擎开发实践

知识图谱构建与搜索引擎开发实践

知识图谱构建与评估

在处理维基百科转储数据后，我们在Neo4j中创建了一个基础图。接下来的工作是提取更多的节点类型和关系，并为边添加权重，以优化查询结果。以下是相关代码示例：

related = json.loads(response.content)
related = [entity[0]['data']['entity'] 
           for entity in related['data']]
related = sorted(related)
related

为了评估知识图谱的质量，我们从多个维度进行考量：
1. 业务指标 ：业务指标取决于具体的应用场景。例如，若知识图谱用于组织公司内部信息，我们可以关注使用率。不过，这并非一个理想的指标，因为它只能反映系统被使用的情况，无法表明系统是否真正对业务有帮助。以销售工程师为例，他们可以查询想要演示的功能并获取相关功能，有望减少帮助票务，这是一个可监控的业务级指标。
2. 模型中心指标 ：衡量知识图谱的质量不像衡量分类器那样直接。我们可以从以下几个方面考虑：
- 稀疏性与密度 ：过多无关联的实体或普遍存在的关系都会影响知识图谱的实用性。可以使用以下简单指标来衡量连通性：
- 每个实体的平均关系数量
- 无关系实体的比例
- 关系出现次数与完全连通图的比例
- 查询关注 ：关注用户查询的实