56、自动化本体评估程序迭代评估研究

自动化本体评估程序迭代评估研究

在构建本体时，需从相关应用领域的文本语料库中检索词汇化概念和关系的术语。关键问题在于如何自动确定语料库中重要术语的检索和组合成相关三元组的效果。只有自动评估程序赋予得分高于 65 的三元组，才被视为与该领域相关且具有代表性。

研究方法

• 专家参与 ：邀请了两位隐私专家，一位是隐私知识工程师，另一位是隐私数据专员。他们在两轮测试中评估本体挖掘器的输出，即三元组。在第二轮测试中，专家手动从语料库中移除了被认为无关或多余的部分和段落。
• 评估方式 ：评估三元组时，用“+”表示该三元组与领域相关，“-”表示不相关。EvaLexon 程序赋予的 66 及以上和以下的值分别对应专家给出的“+”和“-”。
• 研究问题 ：
  • Q1：人工预先移除专家认为多余和/或无关的段落，本体挖掘器产生的三元组集合是否与第一轮测试（使用原始未修改文档）产生的不同？
  • Q2：隐私专家认为第二轮测试中本体挖掘器产生的三元组质量更好、更差还是相同？
  • Q3：自动化评估程序（EvaLexon）是否对这种变化足够敏感，即第二轮的评估分数是否与第一轮不同？
  • Q4：EvaLexon 程序对第二轮三元组的评分是否与人类专家的判断（更好、更差或相同）一致？

实验步骤

1. 比较挖掘器在两种文本上的行为（测试 1）