SemanGit: A Linked Dataset from git

本文由学者Dennis Oliver Kubitza、Matthias Bockmann和Damien Graux联合发表

简介：
人们对开源软件的喜爱越来越高，所以加速了控制系统版本的更新，帮助开发者在项目中协作。特定工具和开源在线平台越来越重要。本文介绍共享SemanGit，在基于语义Web和git Web控制系统的双方交互点提供资源。

本文目标：
将语义添加到git协议，利用语义和图形数据库的优势，集成来自链接开放数据云的其他数据集，主干和初始设计本体支持逻辑推理。GitHub规模巨大，所以从GitHub中提取数据创建第一个RDF，提供一种REST API作为可收集数据的查询点，单次查询数量有限，耗时但产出少。GHTorrent项目提供了大量数据，这些数据提供了比限速的GitHub API更好的输入。由于其数据已存储在关系模型中，因此不适合分析链接的数据，而首选图形数据集，再利用转换器将关系表转换为RDF。

关于git的部分知识

1. git用于跟踪文件更改(如增删查改)的协议，GitHub是git最大的在线提供 。除了提供git存储库，Github还实现一些不属于git协议的功能，如跟踪用户、监察项目变化、创建项目版本等。
2. git提供多种属性，如数据完整性或对分布式和非线性工作流。由于git存储库代表的文件系统是分布的，所以开发人员可将更改嵌入git，一旦更新，协作者就可访问最新版本。
3. git协议依赖数据存储库，许多在线git存储库提供者都添加了自己的特性，而这些特性并不是git协议的一部分。为了拥有可扩展本体，需要清楚什么是git协议以及什么特定于提供者。本体中涉及git协议功能仅代表数据严格属于协议。与协议相关的部分很小，仅包含四个类：用户，项目，提交和请求，用户该类仅存储一个电子邮件地址。

通过在类名中添加前缀，可将与特定于提供程序的协议扩展相对应的类与原始协议分开。本体大部分没有引用git协议的一部分，而是包括由提供者在其添加或扩展的特性。其中一些是社会关系。Github允许用户对某些对象留下评论，但不是在git协议中指定，仅允许初始提交消息。在这种情况下，如果添加的整个特性不是现有git协议特性的扩展，则本体中的相应类不会继承表示git特性的类。

创建SemanGit数据集过程

1. 数据生成过程：GHTorrent项目一直从GitHub挖掘元数据息。他们提供每月的数据库转储，使用转储解决GitHub API的查询限制。数据转储以逗号分隔值(CSV)文件的形式，文件存储了不同对象或某些对象关系。对于不同类型的关系，使用不同的文件实现琐碎的并行化。考虑到本体和GHTorrent项目的输入，将CSV文件转换成 Turtle非常简单。考虑数据集大小，所以还要尽可能压缩输出。
   转换过程：创建bash脚本，通过检查新数据转储、管理下载、解压缩和确保所使用资源的容错性自动化处理。对于每个步骤，添加了错误检查和回退机制，确保结果的完整性，检查主要是日志文件， 记录任务完成点，便于在合适点重新开始该过程。
   减小RDF文件大小技巧：选择以Turtle序列化数据，使用前缀和缩写三元组的部分。为本体中的每个URI创建一个前缀，选择不超过两个字符的前缀名称，并为最常用的URI选择最短的前缀。通过将资源标识符中的所有整数从基数10表示转换为基数64，极大减少输出大小与 Turtle兼容。在数据生成过程完成后，使用互连数据集词汇（VoID）描述结果数据集，这些三元组包括数据集名称和描述、格式、可用许可等数据集许可。

2. 数据集的统计
   Semangit的大小为353 GB，包含210多亿个三元组。输入GHTorrent的文件使用340 GB，通过添加语义，开销只产生了不到4%。通过在 turtle格式允许的范围内使用前缀， 大小比输入文件大25％。通过添加类似Base64整数表示，开销减少到4%。整个转换过程不到七个小时。

组织的社会关系
为了解在开放源码协作中对社会方面的调查，分析两个特性:组织成员数量和用户关注者的数量。在 Semangit数据集中， 类用户对应于自然用户或组织。在第二种情况下，组织有不同的成员，这些成员也是用户。使用组织连接事件跟踪成员关系。通过聚集所有事件，就能得到所有成员的集合。

开发者一一在数据集中， GitHub上的社交互动记录可用于不仅仅是社交分析。假设开发人员一直使用开源工具。使用SemanGit，可以通过观察工具库的一组开发人员并评估开发人员正在监视的存储库来找到类似的项目。
经济学家一一经济学对经济驱动力，结构和制度有用，但对开放软件项目的分析及其背后的动机仍受到当前研究的关注。对于此类研究兴趣，链接数据的使用提供了新机会，因为它为分析本地模型而定制并提供直接访问个人的经验。

在本文中，共享了SemanGit数据集，该数据集是GitHub活动的链接数据版本，由200多亿个RDF三元组组成。除了公开可用的数据集外，在GitHub存储库中提供提取器，该提取器将数据从GHTorrent转换为符合本体的RDF，并设计了本体来表示git存储库和GitHub活动。Semangit目前仍然缺少公共SparQL端点，使整个数据集可用。由于数据量大，任务具有挑战性。将计算资源用于包含垂直扩展和与其他数据集的链接。释放了必要的计算能力和存储空间后，会在服务器上实现一个端点。