3、多语言数据采集、管理与分发：助力语言技术发展

多语言数据采集、管理与分发：助力语言技术发展

在语言技术研究领域，大量高质量数据的获取、管理与有效分发是推动技术进步的关键。本文将详细介绍大规模多语言广播数据和文本数据的采集方法，以及这些数据的管理与分发策略。

1. 大规模多语言广播数据采集

为支持机器翻译和提炼等任务，相关机构开展了大规模多语言广播数据的采集工作。

1.1 广播源选择

• 本地采集 ：项目初期，目标是为阿拉伯语、中文和英语分别采集 1000 小时的广播新闻（BN）和广播对话（BC）。之后，为满足对阿拉伯语节目更广泛覆盖的需求，增加了接收器以扩大阿拉伯语数据的采集范围。同时，还通过与香港科技大学、突尼斯的 Mediant 和摩洛哥的 MTC/ELRA 合作获取更多数据源。最终，广播数据涵盖了 26 个阿拉伯语源、13 个中文源和 3 个英语源。
• 外包采集 ：为实现端到端语言系统的目标，广播数据采集应尽可能涵盖多种来源。因此，相关机构从地理感兴趣区域的多个团队获取数据采集协助，并设计了可部署在美国大陆以外的便携式采集平台。

语言	广播新闻源数量	广播对话源数量
阿拉伯语	26	-
中文	13