HDP-Hadoop管理平台简介

Hortonworks数据平台(HDP)是一款基于Apache Hadoop的100%开源数据管理平台,能够加载、存储、处理和管理各种格式和规模的数据。HDP集成了Apache Hadoop的关键组件,并提供了一个现代化的用户界面进行安装配置。此外,HDP还包含数据集成、元数据服务等功能。

转发:http://hortonworks.com/products/hortonworksdataplatform/

 

Hortonworks Data Platform


     Hortonworks 数据管理平台(HDP)是一个基于Apache Hadoop 100%开源数据管理平台。它允许您载入,存储,处理和管理几乎任何格式和任何规模的数据。作为下一代企业数据架构的基础,HDP包括所有必要的组件,使企业可以快速的处理大数据。

    hortonworks数据平台是理想的整合Apache Hadoop平台,利用其强大的功能及开源的低效成本。也是理想的解决方案供应商希望集成或扩展他们的解决方案,一个开放的和可扩展的Apache Hadoop的平台。

hortonworks数据平台将成为可供下载上周五开始,6月15日。

Key Features

集成和测试封装 – HDP包括稳定版本的Apache Hadoop的所有关键组件,集成和测试封装。

安装方便– HDP包括一个现代化的,直观的用户界面的安装和配置工具。

管理和监控服务 – HDP包括直观的仪表板,为监测集群和建立警示。

数据集成服务 – HDP包括Talend大数据平台,领先的开源整合工具,轻松连接Hadoop集群,而无需编写Hadoop代码的数据系统集成工具。

元数据服务 – HDP包括的Apache HCatalog,从而简化了Hadoop的应用程序之间和Hadoop和其他数据系统之间的数据共享。

高可用性– HDP与成熟的高可用性解决方案的无缝集成。

 

 

Pentaho Hadoop Shims 是用于连接不同 Hadoop 发行版的适配层,确保 Kettle(Pentaho Data Integration)能够与 Hadoop 集群进行交互。对于 HDP 3.0(Hortonworks Data Platform 3.0)版本,需要使用与之兼容的 Pentaho Hadoop Shims 包,通常以 `.kar` 文件形式提供。 要下载适用于 HDP 3.0 的 `pentaho-hadoop-shims-hdp30.kar` 文件,建议通过以下途径获取: 1. **Pentaho 官方资源库**: Pentaho 提供了针对不同 Hadoop 发行版和版本的 Shims 包,可以通过其官方支持门户或社区资源获取。访问 [Pentaho Community](https://community.hitachivantara.com/s/pentaho) 或 [Pentaho Support](https://support.pentaho.com/) 页面,查找适用于 HDP 3.0 的 Hadoop Shims 包。 2. **GitHub 上的 Pentaho 项目仓库**: Pentaho 的部分开源组件托管在 GitHub 上,可以在 [Pentaho GitHub 仓库](https://github.com/pentaho) 中搜索 `pentaho-hadoop-shims` 项目,查看是否包含 HDP 3.0 的构建版本。 3. **Maven 仓库**: 使用 Maven 构建工具可以通过配置仓库来下载该 KAR 文件。在 `pom.xml` 中添加如下依赖: ```xml <dependency> <groupId>org.pentaho.hadoop</groupId> <artifactId>pentaho-hadoop-shims-hdp30</artifactId> <version>9.3.0.0-429</version> <!-- 请根据实际版本调整 --> <type>kar</type> </dependency> ``` 然后通过 Maven 命令下载: ```bash mvn dependency:build-classpath ``` 4. **手动安装插件**: 将下载的 `.kar` 文件复制到 Pentaho Data Integration 的 `plugins/kar` 目录下,并重启 Spoon 工具以加载新插件。确保 Kettle 的版本与 Shims 版本兼容,例如 Pentaho 9.x 通常支持 HDP 3.0 [^4]。 ### 配置注意事项: - 在安装完成后,需在 Kettle 中配置 Hadoop 集群连接信息,包括 HDFS 和 YARN 的地址、Hadoop 用户名等。 - 若使用 HDP 3.0 的 Kerberos 安全机制,还需配置相应的 JAAS 登录模块和 keytab 文件 [^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值