
开发环境配置
专门记录如何搭建开发环境
瓶中怪
一无所求 , 怎会一无所有
展开
-
MapReduce分布式离线计算框架的部署
基于hadoop2.x的搭建原创 2019-01-05 22:13:42 · 1645 阅读 · 0 评论 -
hadoop 2.x集群搭建
快捷跳转 集群搭建 站在hadoop2.x的角度批斗hadoop1.x HDFS NameNode压力过大,内存受限,系统扩展性差 NameNode单点故障,NameNode宕机系统就瘫痪了,在线场景中难以应用. MapReduce JobTracker访问压力大,影响系统扩展性 难以支持除MapReduce之外的计算框架,比如Spark、Storm等. hado...原创 2019-01-04 21:07:12 · 1725 阅读 · 0 评论 -
完全分布式:hadoop 1.x集群的搭建和使用
本文配置环境基于 CentOS系统 部署jdk 部署Tomcat服务器 至少3台虚拟机 网络设置 虚拟机ip地址别名设置,服务器之间相互ping通 时间同步 免密钥登陆 hadoop安装和配置 规划 启动虚拟机,并关闭三台虚拟机的防火墙 将hadoop安装包上传座位NameNode的服务器node01,并解压 环境变量配置,安装包解压的文件夹中的ect/hadoo...原创 2019-01-03 21:08:53 · 1510 阅读 · 0 评论