
hadoop
码虫码农
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
org.apache.hadoop.io.nativeio.NativeIOWindows.createDirectoryWithMode0(Ljava/lang/StringI)V
遇到这个错误,对于我这种新手来说真的是摸不着头脑,莫名奇妙。后面搜了很多网上的版本都不行。 最终下载了别人的一个bin,覆盖了我的bin,后面就可以了。 把我们环境变量的hadoop(我的版本是这个hadoop-2.6.0-cdh5.15.1,不是相同版本慎用)的bin 覆盖成某位大佬的就OK了 链接:https://pan.baidu.com/s/1unKAA54Gf_sbCOm-pLMdWQ 提取码:oy2p ...原创 2020-05-17 23:51:06 · 383 阅读 · 0 评论 -
Hadoop-HDFS 基础回顾
我们每学完一样东西,最好能用笔记记起来,不要太相信自己的记忆力,我在这方面吃过亏。 回顾一下,HDFS 全称Hadoop Distribute File System,顾名思义,分布式文件系统。 大家想想分布式本身有什么优点:高可用。对,三个字总结一切。 首先我们放一下 HDFS官方文档的一段话: NameNode and DataNodes HDFS has a master/slave architecture. An HDFS cluster consists of ...原创 2020-05-15 23:14:00 · 279 阅读 · 0 评论 -
hdfs读写机制及其checkpoint机制
https://blog.youkuaiyun.com/u014253445/article/details/77574319转载 2020-05-15 22:22:00 · 278 阅读 · 0 评论 -
分析 HADOOP-HDFS文件储存机制
大家看到hadoop-2.6.0-cdh5.15.1.tar.gz 压缩包 是400M有余 我们直接用hadoop fs -put 命令,把包存进HDFS文件系统。 我这边的版本block size的默认大小 是128M 所以,就是这个文件会分为4个block. 用视图工具看了下,确实是分了4个Block. 然后我们 在 自定义的HDFS存放数据的根目录/dfs/data/current/BP-504131312-192.168.1.201-1587715632917/c...原创 2020-05-10 12:26:08 · 1301 阅读 · 0 评论 -
HDFS伪分布式单节点版安装(cdh版本)
我这边用的是hadoop-2.60-cdh5.15.1版本 下载Hadoop地址:https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz 下载下来后: 我们把它解压一下 常用的命令是 tar -zxvfhadoop-2.6.0-cdh5.15.1.tar.gz 可以看到目录结构: 然后我们可以根据配置文档:https://archive.cloudera.com/cdh5/cdh/5/...原创 2020-05-08 23:52:20 · 231 阅读 · 0 评论