
大数据篇之Hdfs
whjcsdnwhj
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hodoop伪分布配置详细步骤
Hadoop作为大数据框架的一个基础,有着举足轻重的作用和地位,hadoop有三种搭建模式,即本地模式、伪分布模式和分布式,本地模式由于几乎用不到,不做过多介绍,分布式的搭建后续会进行补充,本文主要讲解分布式的搭建流程。原创 2017-08-20 20:53:25 · 1272 阅读 · 0 评论 -
本地编译Hadoop2.9.1源码总结
目录 一、文档编写的目的 二、编译要求 三、软件安装 3.1 安装JDK 3.2 安装各种库 3.3 安装maven 3.4 安装protocolBuffer 3.5 安装findbugs 四、开始编译 五、编译中可能遇到的问题 一、文档编写的目的 当在Windows平台安装hadoop时,或者添加Hadoop一些额外功能时,需要对Hadoop源码进行编译,本文以Ha...原创 2018-08-29 16:41:05 · 1544 阅读 · 1 评论 -
Hapood端口及配置说明
目录 一、文档编写的目的 二、获取默认配置 三、常用的端口配置 3.1 HDFS端口 3.2 MR端口 3.3 其他端口 一、文档编写的目的 hadoop主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop...原创 2018-08-29 10:35:11 · 1044 阅读 · 0 评论 -
Hadoop警告:WARN util.NativeCodeLoader
目录 一、原因分析 二、解决办法 一、原因分析 当hadoop配置完成运行类似 bin/hdfs dfs ....之类的命令时,有时候会出现以下警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes w...原创 2018-08-29 17:30:08 · 11262 阅读 · 2 评论