
Hadoop
「已注销」
这个作者很懒,什么都没留下…
展开
-
在Linux系统上搭建Hadoop集群
在Linux系统上搭建Hadoop集群 准备工作 1、上传CDH编译后的Hadoop 为什么要编译Hadoop 由于CDH的所有安装包版本都给出了对应的软件版本,一般情况下是不需要自己进行编译的,但是由于CDH给出的Hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库(本地库可以用来做压缩,以及支持C程序等等)的时候就会出问题。 ...原创 2019-11-12 14:01:28 · 1021 阅读 · 1 评论 -
HDFS API常用的方法及使用
文章目录POM依赖HDFS API上传本地数据到HDFS系统删除指定路径下的文件创建文件夹及文件,并向文件中写入数据获取指定文件的日期重命名目录获取指定路径所有的文件 POM依赖 <repositories> <repository> <id>cloudera</id> <url>https://r...原创 2019-11-26 16:14:31 · 514 阅读 · 0 评论 -
Hadoop学习笔记:理论性知识总结
此文章用于记录在学习Hadoop过程中,对于理论性知识的总结 一、Hadoop的组成部分 HDFS 管理者:NameNode NameNode的作用: 1、维护管理文件系统的名字空间 2、负责确定指定的文件块到具体的DataNode节点的映射关系 3、维护管理DataNode上报的心跳信息 辅助管理者:SecondaryNameNode SecondaryNameNode的作用 工作者:...原创 2019-11-07 17:44:57 · 509 阅读 · 5 评论