LJJ1338的博客

一.准备Linux环境（虚拟机）　　1.先将虚拟机的网络模式选为NAT　　2.修改主机名　　vi /etc/sysconfig/network  　　　　 NETWORKING=yes HOSTNAME=hdp-node-01　　3.修改IP　　　　vim /etc/sysconfig/network-scripts/ifcfg-eth0　　　　...

一.hadoop介绍HADOOP是apache旗下的一套开源软件平台 HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 HADOOP的核心组件有 HDFS（分布式文件系统） YARN（运算资源调度系统） MAPREDUCE（分布式运算编程框架） 广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈二.hadoop...

一.Hdfs简介hdfs是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件,并且是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各自负责角色；角色：  HDFS的三个节点：Namenode，Datanode，Secondary Namenode Namenode：HDFS的守护进程，用来管理文件系统的命名空间，负责记录文件是如何分割成数据块，以...

这个图大概可以描述mapreduce计算模型的执行过程，下面我们就围绕这个图聊几个问题，其中有工作中非常有用的问题：1. mapper的个数 结论：mapper的个数是由输入数据的大小决定的，一般不需要我们去设置，如果你想控制mapper的个数，那么需要先了解hadoop是怎么控制mapper的个数。 如图所示，每个Mapper Tasker对应一个split（切片）,要处理的file...

链接：https://www.cnblogs.com/zhangyinhua/tag/%E8%B5%B7%E8%88%AAHadoop/