本文分享了大数据学习的基础，包括Linux shell指令的学习、Hadoop的HDFS和MapReduce、HBase的列族数据库概念以及Hive数据仓库的介绍。通过学习Hadoop的架构和Zookeeper的角色，理解分布式计算模式MapReduce，以及Hive如何将SQL解析为MapReduce任务。
1.linux
shell指令学习我是从私房菜开始看的，而且只看了shell指令相关的
互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方向转行想学习，却因为时间不够，资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程，大数据学习群：868847735 欢迎进阶中和进想深入大数据的小伙伴加入。
2.hadoop
hadoop1分为hdfs和mapred，hadoop2分为hdfs，mapreduce和yarn。我主要学习了hadoop1
hadoop要求jdk，因此要先安装jdk，hadoop安装主要配置文件为core-site.xml hdfs-site.xml mapred-site.xml 和hadoop-env.sh
主要学习途径是stackoverflow，jira。hadoop权威指南
hadoop的核心架构 HDFS是按照Master和Slave的结构。由namenode和datanode构成，namenode通过datanode的heartbeat(“心跳”)确定节点正常。namenode管理datanode的block信息。同时管理client对集群的访问。还有一个sec
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
