坎坷的大数据学习之路
学习大数据(Hadoop、Spark...)相关学习小结
Simba_cheng
低调,低调
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop - 01 - 集群搭建
更新于2018-09-25 上周因为硬盘空间不够,准备迁移Hadoop集群测试虚拟机,结果Master节点误操作,网络被我搞坏了。 死活连接不上去,一气之下,重新装了一个Master机器。 单纯的重新安装Master节点,想继续使用这个集群,是不可取的,需要将整个集群全部卸载,重新配置才行。 各位童鞋,如果本地安装集群,一定要准备充足的硬盘空间。 -----------------...原创 2017-08-31 23:46:49 · 363 阅读 · 0 评论 -
Hadoop - 02 - MapReduce初体验
网上MapReduce的Demo不少,不过学习嘛,还得一步步来。 不说废话了,直接干。 在Linux机器中,搭建了Hadoop伪集群,详见:Hadoop - 1 - 集群搭建 Hadoop学习的代码,完整项目全部上传GitHub上了,需要的同学请自取; 如果觉得还不错,麻烦点个star https://github.com/Simba-cheng/HadoopCode ...原创 2018-09-01 11:13:22 · 551 阅读 · 0 评论 -
Hadoop - 03 - HDFS分布式文件系统
目录 HDFS的概念 数据块 NameNode和DataNode NameNode(Master) Client客户端 DataNode(Slave) HA:HDFS的可靠性 HDFS HA原因分析 现有HDFS HA 解决方案 文件数据和元数据 元数据 文件数据 HDFS Java API 数据流 文件读取 文件写入 HDFS是Hadoop生态中的一个产品、组...原创 2018-09-18 23:14:14 · 1178 阅读 · 0 评论