16、交互式联合专利搜索系统的评估

交互式联合专利搜索系统的评估

实验背景与方法

本次实验的参与者是34至54岁的专利审查员，他们都有丰富的专利审查经验，并且具备良好的信息技术使用能力和英语理解能力。

在实验的第一天，为参与者进行了45分钟的介绍性演示，目的是让他们对PerFedPat系统及其集成的搜索工具建立基本的了解。

用户研究分为三个不同的阶段，每个阶段之间有短暂的休息。具体流程如下：
1. 第一阶段 ：主要考察专利搜索界面的可用性，特别是PerFedPat系统的两个主要功能：联合专利搜索系统，以及使用多个搜索工具和用户界面进行结果探索。参与者被要求使用PerFedPat完成一些常见任务，例如给定一个专利，让他们在搜索相关专利时执行特定任务，以此评估界面的可用性。
2. 第二阶段 ：为用户提供一个去除了国际专利分类（IPC）代码的现有专利，要求他们使用分类搜索系统检索该文档应归属的IPC代码。此阶段的结果已有相关文献报道，本文不再讨论。
3. 第三阶段 ：每个参与者从现有专利池中随机选择一个专利，使用PerFedPat搜索该专利的现有技术。每个参与者需要使用两种不同的系统设置各进行一次搜索任务：
- “核心”PerFedPat ：仅使用核心工具。
- PerFedPat加集成搜索工具 ：使用核心工具和额外的集成搜索工具。

此阶段的设计是将“核心”PerFedPat作为基线，然后比较“PerFedPat加集成搜索工具”在召回率、搜索效率（如查找现有技术的时间）以及控制感、积极影响等方面的表现。每个搜索任务限时30分钟。为了平衡先验知识的潜在影响，给参与者的两个专利来自不同的技术领域。此外，参与者使用两种不同设置的顺序采用循环方式进行，以平衡“顺序”效应。用户的操作过程使用屏幕捕获软件进行记录。每个阶段结束后，参与者需要填写一份问卷，问题采用五点量表进行回答，中间选项为中立。

第一阶段结果分析

本阶段主要关注两个方面的问题：一是专利审查员学习使用集成多个资源和搜索工具的专利搜索系统的难度；二是用户在使用联合搜索系统（PerFedPat）时的期望和需求体验。

以下是第一阶段问卷结果的表格：
| 问题 | 强烈同意（SA） | 同意 | 中立 | 不同意 | 强烈不同意（SD） |
| — | — | — | — | — | — |
| 1. 使用分组功能检查结果很容易 | 67% | 25% | 8% | | |
| 2. 将专利存储到个人库（托盘）很容易 | 83% | 8% | 9% | | |
| 3. PerFedPat提供的不同搜索工具对我的工作有帮助 | 73% | 9% | 18% | | |
| 4. 使用搜索系统回答任务很容易 | 75% | 25% | | | |
| 5. 我无需进一步培训就能理解PerFedPat系统 | 59% | 33% | 8% | | |
| 6. 我会再次使用PerFedPat获取专利信息 | 50% | 42% | 8% | | |
| 7. 查找信息比平时花费更多时间 | 8% | 17% | 17% | 33% | 25% |
| 8. 系统提供的资源类型符合我的需求 | 41% | 42% | 17% | | |
| 9. 系统屏幕上的信息组织清晰 | 50% | 33% | 17% | | |
| 10. 信息有助于我完成任务和场景 | 67% | 33% | | | |
| 11. 很容易使用和协调PerFedPat提供的多个搜索工具进行搜索 | 58% | 42% | | | |
| 12. 我想经常使用这个系统进行一项任务（如现有技术搜索）或多项任务 | 50% | 16% | 17% | 17% | |
| 13. 我觉得系统不必要地复杂 | 17% | | 25% | 58% | |
| 14. 我认为系统很容易使用 | 67% | 25% | 8% | | |
| 15. 我认为需要技术人员的支持才能使用这个系统 | 17% | 8% | 8% | 8% | 59% |
| 16. 我发现系统中的各种功能集成良好 | 42% | 33% | 17% | 8% | |
| 17. 我认为系统存在太多不一致性 | 9% | 8% | 8% | 75% | |
| 18. 我认为大多数人能很快学会使用这个系统 | | 41% | 42% | 17% | |
| 19. 我觉得系统使用起来很别扭 | 8% | 17% | 75% | | |
| 20. 使用系统时我感到非常自信 | 27% | 55% | 9% | 9% | |

从问卷结果可以看出，大多数用户认为系统易于理解和使用，不需要进一步的培训。对于其他基本可用性参数，如易用性、效率和实用性，用户也给予了积极的评价。此外，大多数用户对联合搜索和访问多个资源的方式持肯定态度，认为能够轻松协调和管理PerFedPat提供的多个搜索工具。这表明PerFedPat系统提出的交互模型至少是可以接受的，不会给用户带来太大的使用障碍。

这种积极评价可能不仅归因于联合/集成搜索的固有理念，还与PerFedPat系统的设计有关。例如，IPC建议工具可以在一定程度上与查询工具自动协调。当用户使用查询工具创建并提交查询时，查询工具会将查询传递给IPC建议工具，该工具会选择最合适的IPC代码并将其返回给查询工具，然后查询工具根据自动选择的IPC代码重新发起过滤搜索。

第三阶段结果分析

第三阶段的任务围绕搜索工具的使用展开，旨在研究联合搜索和集成工具对执行现有技术搜索任务时的感知有用性和效率的影响。以下是第三阶段问卷的结果：
| 问题 | 强烈同意（SA） | 同意 | 中立 | 不同意 | 强烈不同意（SD） |
| — | — | — | — | — | — |
| 1. 很容易为我的任务选择所需的专利资源 | 82% | 9% | 9% | | |
| 2. 使用查询工具（表单）构建查询以搜索结果很困难 | | | 9% | 9% | 73% |
| 3. 使用分组功能检查结果很容易 | 64% | 36% | | | |
| 4. 使用过滤功能检查结果很困难 | | | 9% | 27% | 64% |
| 5. 将专利存储到个人库（托盘）很容易 | 91% | 9% | | | |
| 6. 查找现有技术信息比平时花费更多时间 | 18% | 18% | 9% | 55% | |
| 7. 我会再次使用PerFedPat获取专利信息 | 55% | 36% | 9% | | |
| 8. 我发现聚类探索工具对我的搜索有用 | 46% | 45% | 9% | | |
| 9. 我发现分类搜索工具对我的搜索有用 | 55% | 18% | 18% | 9% | |
| 10. 我发现实体探索工具对我的搜索有用 | 50% | 50% | | | |
| 11. 我觉得PerFedPat系统不必要地复杂 | | | 27% | 73% | |
| 12. 我发现系统中的各种工具集成良好 | 55% | 27% | 9% | 9% | |
| 13. 我发现很难使用PerFedPat系统提供的各种工具进行搜索 | | | 18% | 82% | |
| 14. 我认为系统存在太多不一致性 | | | 9% | 18% | 73% |

从问卷结果来看，对于联合搜索的“挑战”，大多数用户给予了积极的反馈，认为使用单个查询工具访问多个资源并获得单一合并结果的模式是可行的。对于集成的搜索工具，虽然大部分用户认为它们有用，但与联合搜索方法的接受度相比，用户的认可度略有下降。在系统复杂性方面，大多数用户认为系统并不复杂，各种工具集成良好，使用起来并不困难。

综上所述，本次评估表明，联合搜索在专利搜索系统中具有可行性，PerFedPat系统在基本可用性参数方面表现良好，大多数用户对其易用性、效率和实用性给予了积极评价。此外，集成搜索系统对于专业专利搜索者来说是有用的，他们认为“并行”使用各种搜索工具是一个有用且理想的功能。然而，与联合搜索的广泛认可相比，用户对集成搜索工具的一致性稍低。未来还需要对日志文件、视频和搜索结果进行详细分析，以得出更具体的结论。

交互式联合专利搜索系统的评估

评估结论与意义

本次对交互式联合专利搜索系统PerFedPat的评估具有重要意义，它为专业专利搜索系统的发展提供了有价值的参考。

从评估结果来看，联合搜索在专利搜索领域展现出了强大的可行性。绝大多数用户对PerFedPat这样的联合搜索系统表现出了高度的接受度，这表明联合搜索模式能够满足专业专利搜索者在信息检索方面的需求。同时，联合搜索方法对系统的基本可用性参数，如易用性、效率和可学习性，都产生了积极的影响。这意味着，通过联合搜索，专利搜索者能够更轻松地获取所需的专利信息，提高工作效率。

对于集成搜索系统的评估也得出了积极的结论。大多数用户认为在PerFedPat中“并行”使用各种搜索工具是一个非常有用且理想的功能。这说明集成多个搜索工具能够为专利搜索者提供更丰富、更全面的搜索体验，帮助他们更准确地找到所需的专利信息。然而，需要注意的是，与联合搜索的广泛认可相比，用户对集成搜索工具的认可度略低。这可能是因为集成多个工具在一定程度上增加了系统的复杂性，需要用户花费更多的时间和精力去学习和适应。

以下是对评估结果的总结表格：
| 评估方面 | 评估结果 |
| — | — |
| 联合搜索可行性 | 高，用户接受度广泛 |
| 基本可用性参数影响 | 积极，提高易用性、效率和可学习性 |
| 集成搜索系统有用性 | 得到多数用户认可，但认可度略低于联合搜索 |

本次评估的一个关键贡献在于它是对一个具体系统（PerFedPat）的真实世界评估。它不仅仅是为了评选出一个“赢家”系统，更重要的是将关注点转移到了集成多个资源和搜索工具的专业搜索系统的潜力上。通过将“核心”PerFedPat作为基线，与“PerFedPat加工具”进行比较，我们能够更清晰地了解集成搜索工具对系统性能的影响。

未来展望

虽然本次评估已经取得了一些有价值的结果，但仍有许多工作需要在未来进一步开展。

首先，对PerFedPat的日志文件、视频和用户搜索结果进行详细分析是非常必要的。这些数据能够提供更深入的信息，帮助我们更准确地了解用户在使用系统过程中的行为和需求。例如，通过分析日志文件，我们可以了解用户使用不同搜索工具的频率和方式，从而对系统进行针对性的优化；通过观看视频，我们可以观察用户在操作过程中遇到的问题和困难，及时进行改进。

其次，根据评估结果对PerFedPat系统进行优化是未来的重要任务。对于用户认可度较低的集成搜索工具，可以进一步改进其功能和界面设计，提高其易用性和实用性。例如，可以简化工具的操作流程，提供更清晰的使用说明，或者增加一些智能辅助功能，帮助用户更轻松地使用这些工具。

此外，还可以考虑拓展系统的功能和应用场景。例如，可以将PerFedPat系统与其他相关的专利数据库或工具进行集成，为用户提供更全面的专利信息服务；或者开发移动端应用，方便用户在不同的设备上随时随地进行专利搜索。

以下是未来工作的流程图：

graph LR
    A[详细分析数据] --> B[优化系统]
    B --> C[拓展功能和应用场景]

总之，本次对PerFedPat系统的评估为专业专利搜索系统的发展指明了方向。通过不断地改进和优化，我们相信集成多个资源和搜索工具的专业搜索系统将能够更好地满足专业专利搜索者的需求，为专利搜索领域带来更多的便利和价值。