
hadoop
码虫码农
这个作者很懒,什么都没留下…
展开
-
org.apache.hadoop.io.nativeio.NativeIOWindows.createDirectoryWithMode0(Ljava/lang/StringI)V
遇到这个错误,对于我这种新手来说真的是摸不着头脑,莫名奇妙。后面搜了很多网上的版本都不行。最终下载了别人的一个bin,覆盖了我的bin,后面就可以了。把我们环境变量的hadoop(我的版本是这个hadoop-2.6.0-cdh5.15.1,不是相同版本慎用)的bin 覆盖成某位大佬的就OK了链接:https://pan.baidu.com/s/1unKAA54Gf_sbCOm-pLMdWQ提取码:oy2p...原创 2020-05-17 23:51:06 · 368 阅读 · 0 评论 -
Hadoop-HDFS 基础回顾
我们每学完一样东西,最好能用笔记记起来,不要太相信自己的记忆力,我在这方面吃过亏。回顾一下,HDFS 全称Hadoop Distribute File System,顾名思义,分布式文件系统。大家想想分布式本身有什么优点:高可用。对,三个字总结一切。首先我们放一下 HDFS官方文档的一段话:NameNode and DataNodesHDFS has a master/slave architecture. An HDFS cluster consists of ...原创 2020-05-15 23:14:00 · 259 阅读 · 0 评论 -
hdfs读写机制及其checkpoint机制
https://blog.youkuaiyun.com/u014253445/article/details/77574319转载 2020-05-15 22:22:00 · 261 阅读 · 0 评论 -
分析 HADOOP-HDFS文件储存机制
大家看到hadoop-2.6.0-cdh5.15.1.tar.gz 压缩包 是400M有余我们直接用hadoop fs -put 命令,把包存进HDFS文件系统。我这边的版本block size的默认大小 是128M所以,就是这个文件会分为4个block.用视图工具看了下,确实是分了4个Block.然后我们 在 自定义的HDFS存放数据的根目录/dfs/data/current/BP-504131312-192.168.1.201-1587715632917/c...原创 2020-05-10 12:26:08 · 1272 阅读 · 0 评论 -
HDFS伪分布式单节点版安装(cdh版本)
我这边用的是hadoop-2.60-cdh5.15.1版本下载Hadoop地址:https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz下载下来后:我们把它解压一下常用的命令是 tar -zxvfhadoop-2.6.0-cdh5.15.1.tar.gz可以看到目录结构:然后我们可以根据配置文档:https://archive.cloudera.com/cdh5/cdh/5/...原创 2020-05-08 23:52:20 · 210 阅读 · 0 评论