大数据集群环境搭建

最新推荐文章于 2024-11-09 11:39:15 发布
最新推荐文章于 2024-11-09 11:39:15 发布
阅读量1.8k 收藏 36
点赞数 46
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_48098867/article/details/137784761
版权

linux搭建大数据环境

前期准备工作

友情提醒: 提前安装好vmware软件,准备好连接虚拟机的客户端

一. 基础环境

1.配置ip地址

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
# 1.修改static
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="dfd8991d-799e-46b2-aaf0-ed2c95098d58"
DEVICE="ens33"
ONBOOT="yes"
# 2.添加以下内容
IPADDR="192.168.88.161"
PREFIX="24"
GATEWAY="192.168.88.2"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"
DNS2="114.114.114.114"
IPV6_PRIVACY="no"

[root@node1 ~]# service network stop
[root@node1 ~]# service network start
[root@node1 ~]# service network restart

[root@node1 /]# ifconfig

2.配置主机名

[root@node1 ~]# vim /etc/hostname

3.禁用防火墙

[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# systemctl disable firewalld.service

4.关闭Selinux

[root@node1 ~]# vim /etc/selinux/config

5.时钟同步

[root@node1 ~]# yum -y install ntpdate
[root@node1 ~]# ntpdate ntp4.aliyun.com
[root@node1 ~]# crontab -e

*/1 * * * * /usr/sbin/ntpdate -u ntp4.aliyun.com

6.创建软件安装目录

[root@node1 ~]# mkdir /export
[root@node1 ~]# cd /export
[root@node1 export]# mkdir data logs server software

7.配置域名映射

[root@node1 ~]# vim /etc/hosts

# 文件内容如下:
192.168.88.161 node1.itcast.cn node1
192.168.88.162 node2.itcast.cn node2
192.168.88.163 node3.itcast.cn node3

8.重启系统

[root@node1 ~]# reboot

二. 安装jdk软件

1.上传软件

使用提供的CRT等客户端远程上传资料中jdk-8u65-linux-x64.tar.gz文件到/export/software目录下

2.解压软件

[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/server/

3.添加环境变量

[root@node1 software]# vim /etc/profile

export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.重新加载文件(配置生效)

[root@node1 software]# source /etc/profile

5.检查jdk版本

[root@node1 software]# java -version

三. 安装mysql软件

0.卸载mariadb-libs

[root@node1 software]# rpm -e --nodeps mariadb-libs

1.上传软件

资料中mysql文件文件到/export/software目录下

2.解压软件

[root@node1 software]# mkdir /export/server/mysql5.7
[root@node1 software]# cd /export/software/mysql\ 5.7.29/
[root@node1 mysql 5.7.29]# tar -xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar -C /export/server/mysql5.7

3.安装mysql

[root@node1 mysql 5.7.29]# cd /export/server/mysql5.7/
[root@node1 mysql5.7]# rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm

4.初始化服务

[root@node1 mysql5.7]# mysqld --initialize

5.修改文件拥有者和组

[root@node1 mysql5.7]# chown mysql:mysql /var/lib/mysql -R

6.启动mysql服务

[root@node1 mysql5.7]# systemctl start mysqld.service

7.设置开启自动启动

[root@node1 mysql5.7]# systemctl enable mysqld.service

8.查看mysql状态

[root@node1 mysql5.7]# systemctl status mysqld

9.登录mysql

[root@node1 mysql5.7]# Pass=$(grep 'A temporary password' /var/log/mysqld.log |awk '{print $NF}')

[root@node1 mysql5.7]# mysql -uroot -p"$Pass"

10.修改root密码且授权远程访问

mysql> alter user user() identified by "123456";
mysql> use mysql;
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;

四. 集群设置免密登录

克隆资料中node1虚拟机的前置条件：node1虚拟机存在且处于关闭状态

克隆虚拟机

1.node1虚拟机: 右键 -> “管理” -> “克隆”

2.图形化弹窗中: “下一页"选择"创建完整克隆"再"下一页”->填写: “node2” 并且选择对应位置"再点击"完成"

3.node2虚拟机: 右键 -> “设置” -> “NAT模式” -> “高级” -> “生成"Mac地址再’确定’ -> 最后点击"确定”

node2/3基础配置
  • 修改ip地址
[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

# 注意此操作是在node2中修改ip地址
IPADDR="192.168.88.102"
  • 修改主机名
[root@node1 ~]# vim /etc/hostname 

# 注意此操作是在node2中修改主机名
node2
  • 重启虚拟机
[root@node1 ~]# reboot
  • 查看配置是否生效
[root@node2 ~]# ifconfig

设置免密登录

  • 三台虚拟机都生成公钥和私钥

    输入命令(注意需要三次回车操作): ssh-keygen

  • 分别拷贝公钥给其他虚拟机

    输入命令(注意需要输入yes和密码): ssh-copy-id node1
输入命令(注意需要输入yes和密码): ssh-copy-id node1  去node2做
输入命令(注意需要输入yes和密码): ssh-copy-id node1  去node3做

  • 测试免密登录

    输入命令(注意此时会直接登录成功): ssh node1
输入命令(注意此时会直接登录成功): ssh node2
输入命令(注意此时会直接登录成功): ssh node3

五. 安装hadoop软件

1.上传软件

使用提供的CRT等客户端远程上传资料中hadoop-3.3.0-Centos7-64-with-snappy.tar.gz文件到/export/software目录下

2.解压软件

[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/

3.添加环境变量

[root@node1 software]# vim /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 修改完后重启生效
[root@node1 server]# source /etc/profile

4.1修改配置文件[自动方式]

上传文件

使用提供的CRT等客户端远程上传夯哥资料中配置好的文件压缩包hadoop-config.tar文件到/export/software目录下

解压文件
[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -xvf hadoop-config.tar -C /export/server/
覆盖原有文件
[root@node1 software]# mv -f /export/server/hadoop-config/* /export/server/hadoop-3.3.0/etc/hadoop/
[root@node1 software]# rm -rf /export/server/hadoop-config*

4.2配置文件详解[手动方式]

①hadoop-env.sh文件
[root@node1 hadoop]# vim hadoop-env.sh

# 在55行添加JAVA_HOME
export JAVA_HOME=/export/server/jdk1.8.0_65
# 在440行添加以下内容
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
② core-site.xml文件
[root@node1 hadoop]# vim core-site.xml

<!-- 在文件的<configuration></configuration>的标签中添加以下内容:  -->
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
      <name>fs.defaultFS</name>
      <value>hdfs://node1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
      <name>hadoop.tmp.dir</name>
      <value>/export/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
      <name>hadoop.http.staticuser.user</name>
      <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
</property>

<property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
</property>

<!-- 开启垃圾桶机制[可选操作] 1440 表示1440分钟也就是24小时一天的时间-->
<property>
       <name>fs.trash.interval</name>
       <value>1440</value>
</property>
③ hdfs-site.xml文件
[root@node1 hadoop]# vim hdfs-site.xml

<!-- 在文件的<configuration></configuration>的标签中添加以下内容:  -->    
	<!-- 指定secondarynamenode运行位置 -->
   <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>node2:9868</value>
	</property>
④ mapred-site.xml文件
[root@node1 hadoop]# vim mapred-site.xml

<!-- 在文件的<configuration></configuration>的标签中添加以下内容:  -->  
	<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>

   <!-- MR程序历史服务器端地址 -->
   <property>
     <name>mapreduce.jobhistory.address</name>
     <value>node1:10020</value>
   </property>

   <!-- 历史服务器web端地址 -->
   <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>node1:19888</value>
   </property>

   <property>
     <name>yarn.app.mapreduce.am.env</name>
     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>

   <property>
     <name>mapreduce.map.env</name>
     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>

   <property>
     <name>mapreduce.reduce.env</name>
     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
⑤ yarn-site.xml文件
[root@node1 hadoop]# vim yarn-site.xml

<!-- 在文件的<configuration></configuration>的标签中添加以下内容:  -->    
	<!-- 设置YARN集群主角色运行机器位置 -->
   <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>node1</value>
   </property>

   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>

   <!-- 是否将对容器实施物理内存限制 -->
   <property>
       <name>yarn.nodemanager.pmem-check-enabled</name>
       <value>false</value>
   </property>

   <!-- 是否将对容器实施虚拟内存限制。 -->
   <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
   </property>

   <!-- 开启日志聚集 -->
   <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
   </property>

   <!-- 设置yarn历史服务器地址 -->
   <property>
       <name>yarn.log.server.url</name>
       <value>http://node1:19888/jobhistory/logs</value>
   </property>

   <!-- 保存的时间7天 -->
   <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
   </property>
⑥ workers文件
[root@node1 hadoop]# vim workers

# 用以下内容把之前内容覆盖
node1
node2
node3

5.拷贝软件到其他机器

  • nod1主机上拷贝到node2和node3中各一份
[root@node1 server]# scp -r /export/server/hadoop-3.3.0  root@node2:/export/server/
  • node2/3主机配置环境变量
[root@node2 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node2 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node2 server]# source /etc/profile

6.hadoop集群启动

① 数据初始化
[root@node1 ~]# hdfs namenode -format
②单节点逐个启动[了解]
启动HDFS集群

  • 在主节点上使用以下命令启动HDFS NameNode

    [root@node1 ~]# hdfs --daemon start namenode

  • 在每个从节点上使用以下命令启动HDFS DataNode

    [root@node2 ~]# hdfs --daemon start datanode

    [root@node3 ~]# hdfs --daemon start datanode

  • node2上使用以下命令启动HDFS SecondaryNameNode

    [root@node2 ~]# hdfs --daemon start secondarynamenode
启动YARN集群

  • 在主节点上使用以下命令启动YARN ResourceManager

    [root@node1 ~]# yarn --daemon start resourcemanager

  • 在每个从节点上使用以下命令启动YARN nodemanager

    [root@node2 ~]# yarn --daemon start nodemanager

    [root@node3 ~]# yarn --daemon start nodemanager
③单个集群启动和关闭[了解]
[root@node1 ~]# stop-dfs.sh
[root@node1 ~]# stop-yarn.sh

[root@node1 ~]# start-dfs.sh
[root@node1 ~]# start-yarn.sh
④jps查看进程
[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps
⑤一键启动和关闭[重点]
[root@node1 ~]# stop-all.sh

[root@node1 ~]# start-all.sh
⑥启动jobHistory服务[重点]
[root@node1 ~]# mapred --daemon start historyserver

[了解]hadoop shell

[root@node1 ~]# hdfs dfs -ls /
[root@node1 ~]# hdfs dfs -mkdir /binzi
[root@node1 ~]# hdfs dfs -touch /binzi/1.txt /binzi/2.txt
[root@node1 ~]# hdfs dfs -ls /binzi

[root@node1 ~]# hdfs dfs -mv /binzi /binzi2
[root@node1 ~]# hdfs dfs -cp /binzi2 /binzi3

[root@node1 ~]# echo hello binzi > a.txt
[root@node1 ~]# hdfs dfs -put /root/a.txt /binzi
[root@node1 ~]# hdfs dfs -cat /binzi/a.txt
[root@node1 ~]# hdfs dfs -get /binzi/a.txt /

[root@node1 ~]# hdfs dfs -rm /binzi/2.txt
[root@node1 ~]# hdfs dfs -rm -r /binzi
[root@node1 ~]# hdfs dfs -ls /

[root@node1 ~]# hdfs dfs 回车

六. 集群web-ui[了解]

一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：

访问HDFS的NameNode主机 : http://192.168.88.101:9870/

访问YARN的ResourceManager主机 : http://192.168.88.101:8088/

注意: 想要上传文件夹需要配置本地域名映射

本地配置域名映射

192.168.88.101 node1.itcast.cn node1
192.168.88.102 node2.itcast.cn node2
192.168.88.103 node3.itcast.cn node3

配置完成后,可以直接通过node1访问

HDFS: http://node1:9870/

YARN: http://node1:8088/

jobhistory: http://node1:19888/jobhistory

七. 安装hive软件

1.上传软件

使用提供的CRT等客户端远程上传资料中 apache-hive-3.1.2-bin.tar.gz 文件到/export/software目录下

2.解压软件

[root@node1 software]# cd /export/software/
[root@node1 software]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /export/server/

3.解决Hive与Hadoop之间guava版本差异

[root@node1 software]# rm -rf /export/server/apache-hive-3.1.2-bin/lib/guava-19.0.jar
[root@node1 software]# cp /export/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/

4.添加环境变量

[root@node1 software]# vim /etc/profile

export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/sbin
  • 修改完后重启生效
[root@node1 server]# source /etc/profile

5.修改配置文件

①hive-env.sh

  • 修改文件名称

    [root@node1 software]# cd /export/server/apache-hive-3.1.2-bin/conf
[root@node1 conf]# mv hive-env.sh.template hive-env.sh

  • 打开文件写入数据

    [root@node1 conf]# vim hive-env.sh

    export HADOOP_HOME=/export/server/hadoop-3.3.0
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf
export HIVE_AUX_JARS_PATH=/export/server/apache-hive-3.1.2-bin/lib
②hive-site.xml

  • 打开文件写入数据

    [root@node1 conf]# vim hive-site.xml

    <configuration>
<!-- 存储元数据mysql相关配置 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>

<!-- H2S运行绑定host -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node1</value>
</property>

<!-- 远程模式部署metastore metastore地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://node1:9083</value>
</property>

  
<!-- 关闭元数据存储授权  --> 
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
</configuration>

6.上传mysql驱动

使用夯哥提供的CRT等客户端远程上传夯哥资料中mysql-connector-java-5.1.32.jar到 /export/server/apache-hive-3.1.2-bin/lib下

7.初始化元数据

[root@node1 mysql 5.7.29]# cd /export/server/apache-hive-3.1.2-bin/
[root@node1 apache-hive-3.1.2-bin]# schematool -initSchema -dbType mysql -verbos

8.在hdfs创建hive存储目录

[root@node1 apache-hive-3.1.2-bin]# hdfs dfs -mkdir /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -mkdir -p /user/hive/warehouse
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /user/hive/warehouse

9.启动hive服务[重点]

  • 启动metastore服务

    # 前台启动(一般不用)  # ctrl+c关闭
[root@node1 apache-hive-3.1.2-bin]# hive --service metastore

[root@node1 apache-hive-3.1.2-bin]# hive --service metastore --hiveconf hive.root.logger=DEBUG,console


```shell
#后台启动 回车后进程挂起  关闭使用jps+ kill -9
[root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore &
[root@node1 apache-hive-3.1.2-bin]# hive

# 直接输入show databases;查看表
hive> show databases;
# 结果OK default...说明成功

  • 启动hiveserver2服务

    [root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore &
[root@node1 apache-hive-3.1.2-bin]# nohup hive --service hiveserver2 &

[root@node1 apache-hive-3.1.2-bin]# beeline

# 先输入!connect jdbc:hive2://node1:10000连接

beeline> !connect jdbc:hive2://node1:10000

再输入用户名root,密码不用输入直接回车即可

Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000:

输入show databases;查看表

0: jdbc:hive2://node1:10000> show databases;

结果OK default…说明成功






## 八. 安装zookeeper软件

### 1.上传软件

> 使用提供的CRT等客户端远程上传夯哥资料中zookeeper-3.4.6.tar.gz 文件到/export/software目录下

### 2.解压软件

```shell
[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf zookeeper-3.4.6.tar.gz -C /export/server/
[root@node1 software]# cd /export/server/
[root@node1 server]# mv zookeeper-3.4.6 zookeeper

3.添加环境变量

[root@node1 server]# vim /etc/profile

export ZOOKEEPER_HOME=/export/server/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
  • 修改完后重启生效
[root@node1 server]# source /etc/profile

4.创建数据目录添加myid值为1

[root@node1 server]# mkdir -p /export/server/zookeeper/zkdatas/
[root@node1 server]# echo 1 > /export/server/zookeeper/zkdatas/myid

5.修改配置文件

[root@node1 server]# cd /export/server/zookeeper/conf/
[root@node1 conf]# cp zoo_sample.cfg zoo.cfg
[root@node1 conf]# vim zoo.cfg

# 修改数据存放目录
dataDir=/export/server/zookeeper/zkdatas
# 添加集群中服务地址
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

6.拷贝到软件到其他机器

  • nod1主机上拷贝到node2和node3中各一份
[root@node1 conf]# cd /export/server/
[root@node1 server]# scp -r /export/server/zookeeper/ node2:/export/server/
[root@node1 server]# scp -r /export/server/zookeeper/ node3:/export/server/
  • node2/3上修改myid值并且添加环境变量
[root@node2 ~]# echo 2 > /export/server/zookeeper/zkdatas/myid
# 配置环境变量
[root@node2 ~]# echo 'export ZOOKEEPER_HOME=/export/server/zookeeper' >> /etc/profile
[root@node2 ~]# echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
[root@node2 ~]# source /etc/profile

7.zookeeper服务启动

如下命令三台服务器均可操作: stop:停止 start:开启 status:状态

可以使用crt发送交互到所有会话


[root@node123 bin]# zkServer.sh start

[root@node123 bin]# zkServer.sh status

[root@node123 bin]# zkServer.sh stop

8.命令jps查看进程

[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps
隔壁老K~
关注
大数据-linux环境搭建
zcg_good的博客
10-23 1219
一、虚拟机安装 VMware虚拟机下载地址：https://pan.baidu.com/s/1gXspKov4RC_kHnhdYqcZlQ 提取码：8nqy 二、Linux操作系统安装 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ig..
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1320
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
大数据开发Linux环境搭建
11-12
大数据开发环境搭建--centOS在VMWare下安装--jdk1.8安装，内附完整步骤的安装文档
大数据学习之Linux环境搭建（导航）
a059011的博客
11-18 123
环境搭建过程网上有挺多，但在安装过程，难免会出现一些其他错误，所以是对自己在搭建环境过程中的一个记录。 首先是VMware软件的安装，没什么说的，一直“下一步”就好了，虚拟机下安装Linux系统也比较简单，不赘述。 在系统主目录下新建software文件，用以存放大数据学习过程中可能用到的软件:mkdir /software 在系统主目录下新建download文件，用以存放临时安装包: ...
Hadoop 运行环境搭建（开发重点）
风口IT猪的成长录
09-04 549
Hadoop 运行环境搭建1. 模板虚拟机环境准备2. 克隆虚拟机 1. 模板虚拟机环境准备 0）安装模板虚拟机，IP 地址 192.168.10.100、主机名称 hadoop100、内存 4G、硬盘 50G IP 地址：在VMware编辑中设置 1）hadoop100 虚拟机配置要求如下（本文 Linux 系统全部以 CentOS-7.5-x86-1804 为例） （1）使用 yum 安装需要虚拟机可以正常上网，yum 安装前可以先测试下虚拟机联网情况 （2）安装 epel-release 注：E
大数据分布式集群环境搭建详细步骤（Linux环境搭建及网络配置）
ZFX008的博客
08-14 2672
前言：大数据分布式集群环境搭建对于初学者来说较为繁琐复杂，网上教程也参差不齐，本人在学习大数据的过程中踩过不少坑，希望记录下来，我们大家互相学习，让学习成为一种习惯。博客中如果有需要改进的地方，希望大家不吝赐教。
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase）
01-25
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase） 本资源摘要信息主要对大数据综合实验环境搭建进行了详细的介绍，涵盖了 JDK 的安装和配置、免密码登录的设置、Zookeeper 的安装、Hive 和 HBase 的安装...
大数据分布式集群环境搭建.docx
11-09
centos大数据分布式集群搭建，包含hadoop spark hbase hive solr elasticsearch redis zookeeper rocketmq mongodb mariadb storm kafka docker
一、大数据集群搭建
weixin_45284646的博客
03-02 1841
通过VMware虚拟机搭建大数据集群搭建，本文描述了较为详细的集群搭建步骤，旨在帮助小白同学快速上手搭建，也是方便自己后期复习。
大数据开发环境搭建之linux服务器的安装搭建
weixin_43908779的博客
03-16 676
VM12虚拟机安装 首先完成VM12的安装，有需要的请去下方链接下载需要的文件，里面有vm12的安装教程和破解文件，在这里不做过多的教程。本片主要是linux系统的安装教程。 链接：https://pan.baidu.com/s/19fGgOU-hsiErQJ9QdGCMZw 提取码：46dm Linux系统的安装（桌面版） 1 检查BIOS虚拟化支持 2 新建虚拟机 3 新建虚拟机向导 4 创建...
大数据 Linux 搭建（一）
bai89579的博客
09-13 412
1.安装VMware Workstation 2.新建虚拟机，选择“自定义（高级）”。 3.选择安装操作系统时，选择“稍后安装操作系统”。 4.选择 Linux ，版本CentOS 64位。 5.网络类型选择NAT 6.其余选项均默认即可 转载于:https://www.cnblogs.com/mstoms/p/11516220.htm...
大数据-Hadoop集群的安装与配置
weixin_43846708的博客
03-10 728
Hadoop集群的安装与配置前言1. VmWare 15安装 CentOS72. Linux设置修改主机名称和网络名称：关闭防火墙：关闭selinux3. 安装 JDK4. 配置Hadoop集群解压配置环境修改配置文件core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml5. 克隆虚拟机slave6．SSH免密登录7. 启动Hadoop集群8、验证安装可以运行hadoop自带的实例。（1）执行实例程序计算pi（2）wordcount实例（单词计数） 前言
大数据处理实训项目一：RedHat Linux 操作系统安装
Chasingyq的博客
07-05 887
虚拟机版本：VMware® Workstation 17 Pro操作系统: Red Hat 7.6 Linux。
Linux CentOS下大数据环境搭建（zookeeper+hadoop+hbase+spark+scala）
qq_52836012的博客
03-22 2014
本篇文章是结合我个人学习经历所写，如果遇到什么问题或者我有什么错误，欢迎讨论。
基于大数据学习在Linux上环境的搭建（持续更新中）
Crazy_monsters的博客
08-26 715
1.准备阶段 虚拟机、CRT/Xshell（终端模拟软件）、WinSCP（两个不同系统之间传输文件） 2.基础环境搭建 创建新的虚拟机 自定义 安装程序光盘映像文件（iso）（需要网上下载） 一直下一步，等待 选英文，日期shanghai，系统的网络与主机名，点开查看配置环境需要的信息，在关闭，开始安装 安装完成后，重启，输入账号密码 Linux配置网...
搭建大数据集群环境一
uswni的博客
02-23 405
搭建大数据集群环境 准备知识 因为这个环境是在Linux操作系统下搭建的，所以等下需要改到一些配置文件。在Linux下默认是vi编辑器，所以我们先学习下vi的基本操作。 vi一共有三种模式： 命令模式 输入模式 底线命令模式 进入时为命令模式，按下i进入输入模式，改完后按ESC键返回命令模式，输入**：wq保存退出。：q!**是强制退出编辑，不保存。 然后在当前尽量不使用鼠标进行操作。目前知道这些就可以了。 一.配置Linux网络 搭建大数据集群环境喽，所以一台虚拟机肯定构不成集群，我们学
大数据开发-Linux环境搭建
Sun123234的博客
02-20 792
大数据开发-Linux环境搭建
linux搭建大数据环境
最新发布
m0_63845988的博客
11-09 956
本文主要演示如何搭建集群、安装mysql、安装hadoop、安装hive、安装zookeeper、配置Hadoop高可用环境搭建及如何配置相应的文件。
大数据集群环境搭建指南：涉及Hadoop、Spark等技术
搭建一个高效、稳定的大数据集群环境是实现大数据应用的基础。该压缩包内含了对Hadoop、Hive、Sqoop、HBase、Phoenix、Spark、Kafka、Flume、Zookeeper以及Flink的安装指南，涵盖了一系列关键技术和工具，它们在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值