Hadoop
关注
分享
扫一扫
Hadoop是一个由Apache基金会开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统，其中一个组件是HDFS（Hadoop Distributed File System）。
9Tristone
持续不断的学习是进步的唯一通路。
展开
-
Hadoop怎么使用？Hadoop 3.2.1运行测试，快速学习操作指令。
我安装的版本是Hadoop 3.2.1，操作系统平台是CentOS Linux 8，以下所有的操作都是在这个平台下运行的。安装的方法参考：怎么在CentOS Linux 8上安装Hadoop？安装配置Hadoop的详细步骤Hadoop面向客户的主要有3个模块：HDFS、YARN、MapReduce，我们将分别对这三个模块进行使用测试：HDFS使用测试HDFS是Hadoop的分布式文件系统，...原创 2019-12-31 16:15:51 · 3776 阅读 · 0 评论 -
Zookeeper启动失败了怎么办？显示Error contacting service. It is probably not running.
在我规划的Hadoop226上启动ZookeeperzkServer.sh start显示内容如下：Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... STARTED看看有没有QuorumPeerMain进程jps显示内容如下：1584 JpsWhat，怎么没有显示，...原创 2019-12-31 12:51:20 · 1525 阅读 · 0 评论 -
怎么安装HBase？如何在CentOS Linux 8 下安装配置Hbase？
HBase的环境搭建及基本使用1、下载HBase以下内容全部用hadoop用户执行。官网地址：https://hbase.apache.org/downloads.html，我们要下载bin版本的。执行如下命令：cd /home/hadoop/serverwget http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.2/hbase-...原创 2019-12-29 22:48:04 · 1161 阅读 · 0 评论 -
如何配置Hadoop的机架感知功能？CentOS Linux 8下的机架感知功能配置
查看当前机架感知的参数hdfs dfsadmin -printTopology显示内容大致如下：Rack: /default-rack 192.168.1.221:9866 (hadoop221) 192.168.1.222:9866 (hadoop222) 192.168.1.223:9866 (hadoop223) 192.168.1.224:9866 (had...原创 2019-12-29 22:25:45 · 366 阅读 · 0 评论 -
PHP程序能不能运行在Hadoop？CentOS Linux 8下PHP的大数据处理
# 答案通过Hadoop的MapReduce功能是可以正常运行PHP程序的。需要通过以下步骤：# 1、安装Hadoop在集群的每台机器上安装Hadoop，保证目录结构和配置文件一致(可以在一台服务器上安装好复制到另外的服务器上)，参考：怎么在CentOS Linux 8 上安装Hadoop？2、安装PHP在集群的每台机器上安装PHP，并保持目录结构和配置文件一致，参考：怎么在CentOS Linux 8 上安装PHP？本文假定你已经做好了上述安装，如果没有做好，可以点击上述链接查看相关参考资料原创 2019-12-29 22:00:26 · 353 阅读 · 0 评论 -
怎么在CentOS Linux 8上安装Hadoop？安装配置Hadoop的详细步骤
前期准备必备软件安装好CentOS Linux 8 并升级完内核和软件包之后再进行Hadoop的安装。参考：1、大数据处理和软件开发第一步：VMware下安装CentOS 8 Linux操作系统2、怎么给CentOS Linux 8升级内核并开启BBR手里有一台Dell R620服务器，共有8块硬盘，通过VMware将虚拟机分布在这8块硬盘上，模拟8台服务器，在一个机架上：编号：/B...原创 2019-12-29 21:32:12 · 3509 阅读 · 0 评论 -
高可用(HA)Zookeeper|Hadoop|Hbase启动/停止顺序CentOS Linux 8 下运行
一句话：Hadoop启动顺序：Zookeeper->Hadoop->Hbase停止顺序如果我们要维护正在运行的hadoop系统，就需要先停下它，下面是停止的顺序$ stop-hbase.sh #停止Hbase，最好在hadoop221（HMaster）上执行$ stop-all.sh #停止Hadoop的HDFS和YARN，最好在hadoop221（Nam...原创 2019-12-28 23:45:17 · 400 阅读 · 0 评论