- 博客(9)
- 收藏
- 关注
RSS订阅原创 Hadoop学习笔记（九）——flume配置
一、解压cd /usr/local/softtar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module二、添加系统环境变量(需配置Java JDK系统参数)vi /etc/profileexport FLUME_HOME=/usr/local/soft/apache-flume-1.9.0-binexport PATH=$PATH:$FLUME_HOME/binsource /etc/profile三、修改Flum
2021-12-16 14:37:08
120
原创 Hadoop学习笔记（八）——hbase搭建
一、文件解压cd /opt/module/tar -zxvf hbase-2.2.0-bin.tar.gz二、修改启动变量系统环境变量增加vi /etc/profileexport HBASE_HOME=/opt/module/hbase-2.2.0export PATH=$PATH:$HBASE_HOME/bin保存系统环境变量：source /etc/profile修改hbase变量cd /opt/module/hbase-2.2.0/conf/v
2021-12-16 14:32:24
139
原创 Hadoop学习笔记（七）——zookeeper集群部署
前提：关闭防火墙1、解压cd /opt/module/tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz2、创建数据文件和目录文件在zookeeper的跟目录下创建两个文件夹data和logcd /opt/module/apache-zookeeper-3.5.5-bin/mkdir datamkdir log3、拷贝配置文件cd /opt/module/apache-zookeeper-3.5.5-bin/con
2021-12-16 14:24:08
146
原创 hadoop学习笔记（六）——Hive的搭建安装
一、下载mysql（钉钉群也有）MySQL :: Download MySQL Community Server二、其上传到linux下/opt/software中三、将其解压到/opt/module下命令为： tar -xf 要解压的文件 -C 要解压的位置四、安装对应的rpm文件如果报问题：1.获取插件：yum install -y libaio2.执行命令：sudo rpm -ivh --nodeps mysql-community-com...
2021-12-15 21:12:09
174
原创 hadoop学习笔记（五、完全分布式）
一、hadoop完全分布模式1. 集群配置注意：NameNode和SecondaryNameNode不要安装在同一台服务器 （2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到） 注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 hadoop100 hadoop101 hadoop102 ...
2021-12-14 22:53:08
215
原创 hadoop学习笔记（四、伪分布式部署）
一、hadoop本地部署（1）需要包含内容的文件（统计单词个数的文件）。在/opt目录下创建test目录。在/opt/test目录下分别创建input目录和output目录。在/opt/test 目录下创建包含内容的文件。（2）在hadoop中执行。在/opt/module/hadoop-3.1.3/share/hadoop/mapreduce目录中执行文件。命令：hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordc..
2021-12-14 11:17:52
1009
原创 hadoop学习笔记（三、配置jdk环境变量）
一、虚拟机连接MobaXtermmoba软件就是为了让linux和windows连接打开moba软件二、本地部署在/opt文件下分别创建两个文件夹（software和module）命令： mkdir /opt/software mkdir /opt/module注：software里面存放我们解压前的文件module里面存放我们解压后的文件 2.解压jdk到module文件夹中 （1）需要切换到software 文件夹下 ...
2021-12-13 22:39:53
627
原创 hadoop学习笔记（二、修改虚拟机网络配置）
一、修改虚拟机的网络配置二、修改windows的网络配置在cmd中输入ping 192.168.1.100如果显示超时①虚拟机中的ip不对②出现active (running)，虚拟机中防火墙没有关掉三、防火墙的开关1.防火墙状态的查看systemctl status firewalld2.关闭防火墙systemctl stop firewalld3.开机防火墙不启动systemctl disable firewalld四、查看虚拟机当前的i
2021-12-12 14:54:53
1378
原创 hadoop学习笔记（一、安装虚拟机）
一、安装虚拟机（CentOS）二、修改主机名（当前虚拟机的主机名）1.查看当前主机名hostname2.修改主机名vi./etc/hostname需要重启，命令：reboot -h now三、修改ip地址（当前虚拟机的ip地址）vi./etc/sysconfig/network-scripts/ifcfg-ens331修改为静态获取ip...
2021-12-12 14:26:30
141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人