9、环境节点发现与实体挖掘在网络搜索中的应用

环境节点发现与实体挖掘在网络搜索中的应用

环境节点发现实验研究

• 实验背景与目标 ：进行一系列实验以评估“网络搜索”和分类步骤的有效性，以及系统的最终结果。实验聚焦于芬兰南部乌西马亚次区域的天气信息提供商检索，所选城市基于人口标准，包括赫尔辛基、埃斯波、万塔等 12 个城市。
• 网络搜索步骤
  • 搜索引擎选择 ：评估了 Google、Yahoo 和 Bing 的 API，由于 Google API 限制在网站内使用，Bing 使用条款严格不允许处理结果，最终选择 Yahoo! BOSS API 作为通用网络搜索引擎。
  • 基本查询生成与结果 ：基本查询通过结合地理和天气信息生成，每个城市有 7 个查询，针对目标地理区域共生成 84 个查询。以赫尔辛基为例，基本查询如“weather + Helsinki”等。每个查询最多从通用搜索引擎检索 50 个网站，共检索到 3516 个网站，经手动标注后有 2380 个唯一网站，其中 681 个被标注为相关，简单查询技术的精度为 28.6%。
  • 扩展查询生成与结果 ：扩展查询基于关键词香料生成，需要机器学习过程。发送 17 个与天气相关的关键词到通用搜索引擎，每个关键词检索 100 个网站。使用 WEKA 工具的 Id3 算法构建决策树，通过交叉验证选择第 3 种变体的结果，生成的关键词香料为“forecast –instrument –part –surface –comment