Cloudera Development Kit(CDK) 简介

最新推荐文章于 2024-09-28 07:52:28 发布

原创

最新推荐文章于 2024-09-28 07:52:28 发布 · 3.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #Cloudera #存储系统

Cloudera Development Kit(CDK) 是Cloudera为简化基于Hadoop生态系统的开发而创建的一系列库和工具。CDK由多个模块组成，如CDK Data、CDK Example和CDK Tools，旨在减少对外部项目的依赖。尽管CDK Data提供了更高级的操作HDFS的方式，但它存在一些限制，例如不支持文件重命名，缺乏多进程操作的锁机制等。

Cloudera Development Kit(CDK) 简介

guibin.beijing@gmail.com

2013.07.02

CDK简介

CDK(Cloudera Development Kit) 就是一些Cluodera开发的库、工具和文档的集合。CDK这个项目存在的价值在于使得在基于Hadoop生态系统上开发系统更加容易。这个项目是按照模块组织的，模块之间或者独立，或者依赖CDK内的其他模块，但是尽量少的依赖外部项目模块。CDK的文档主页在这里：http://cloudera.github.io/cdk/docs/0.2.0/index.html，项目主页：http://cloudera.github.com/cdk/cdk-data。

当前CDK有以下三个模块：

CDK Data

CDK Data 模块在存储系统(HDFS)之上提供了逻辑抽象，使得用户能依据“records, datasets, and dataset repositories”这些概念去思考和操作数据。CDK Data的适用场景：如果你正在寻求一种方式 直接向存储系统中读/写数据记录，那么CDK Data应该就是你想要的。CDK Data 提供了操作Cloudra平台中数据集的简单、直观的API。换句话说，CDK Data所处的位置比 Hadoops input/output formats API低一个等级，比标准的HDFS+AVRO API高一个等级。