33、利用微服务构建可扩展的数字图书馆摄入管道

利用微服务构建可扩展的数字图书馆摄入管道

1. 引言

在日常生活的诸多方面，聚合器都发挥着重要作用，从报纸、旅游网站到电影评论和社交网络服务。在不断发展的学术交流环境中，由于每年发表的科学知识数量庞大，以及学者们对发现和提取其中知识的需求，大量聚合器应运而生。此外，科学向跨学科的转变也催生了对一种无缝工具的需求，这种工具能够实现从不同学科领域检索科学文献。

聚合器可以收集、丰富和清理元数据，以协调对它们的访问，允许在各种平台上进行统一搜索，提高内容的可见性，并通过展示科学的新趋势和发展，为最终用户带来高级的发现体验。由于其作用，聚合器必须能够处理大量数据，并在可扩展和可持续的基础设施上进行开发。

以 CORE 项目为例，它是一个全球采集服务，聚合了数百万篇开放获取的研究论文。过去，CORE 的采集基础设施采用的是单体架构。尽管可以进行扩展和继续使用，但该架构存在复杂性和维护问题，尤其是在处理大量数据时，其组件之间的强依赖性也对其可持续性构成了挑战。为了重构当前系统并使其更易于扩展，引入了微服务架构，即由小型、自主的组件在大型基础设施中协同工作。这种技术由于软件和资源的进步而得到广泛应用，其好处是程序员可以高效地专注于单个简短任务的组件实现。

本文的主要贡献包括：
- 定义设计可扩展聚合基础设施的要求。
- 根据这些要求，提出一种基于微服务的设计，可应用于任何聚合和数字图书馆基础设施。
- 描述在 CORE 项目的实际场景中，从单体架构迁移到微服务架构的经验。

2. 相关工作

聚合系统的设计通常需要从头开始，因为每个项目的应用场景各不相同，这取决于资源的可用性和分布的灵活性。目前已经有许多