36、地理空间问答引擎评估与SPARQL联邦引擎可扩展性测试

地理空间问答引擎评估与SPARQL联邦引擎可扩展性测试

地理空间问答引擎评估

在地理空间问答领域，为了评估问答引擎的性能，使用了GeoQuestions1089数据集对GeoQA2和Hamzei等人的引擎进行测试。

数据存储与查询执行

在进行实验时，选择了Strabon作为地理空间RDF存储，原因一是团队熟悉其开发，二是它是最高效的集中式地理空间RDF存储之一。对于针对YAGO2geo的查询，使用了GeoQuestions1089中包含物化关系的60个地理空间问题，比较了物化前后查询的时间性能。在查询执行过程中，不同类型的查询执行时间有所差异。例如，D类查询涉及复杂几何形状的比较，如一个国家内所有湖泊和城市的几何形状，Strabon需要执行代价高昂的空间连接操作来获取最终结果；而B类简单的GeoSPARQL查询，只需计算两个给定几何形状之间的空间关系，识别代表该信息的三元组即可，这些信息已离线计算。

GeoQA2引擎评估

为了评估GeoQA2，设置了三个Strabon端点。前两个分别存储YAGO2和YAGO2geo，用于GeoQA2生成查询；第三个存储YAGO2、YAGO2geo及其物化数据，用于检索生成查询的答案。评估指标包括生成查询的百分比、正确答案的百分比以及在生成查询的问题集中正确答案的百分比。
|类别|生成查询|正确答案|正确答案（基于生成查询）|
| ---- | ---- | ---- | ---- |
|A|84%|47.42%|56.45%|
|B|76.25%|58.99%|77.35%|
|C|79.21%|44.38%|56.02%|
|D|56%|