weixin_50198333的博客

1.问题描述长时间启动hadoop后，使用stop-all.sh停止时报 no namenode to stop，但jps显示namenode 确实存在2.造成原因hadoop默认配置是将namenode,datanode等相关进程的pid存放在/tmp目录下，但linux会定期清理/tmp目录，所以pid信息丢失，导致出现该问题3.解决方法修改hadoop/etc/hadoop/hadoop-env.sh文件中的HADOOP_PID_DIR# export HADOOP_PID_DIR=${H

1.开放8088端口firewall-cmd --zone=public --add-port=8088/tcp --permanent2.关闭8088端口firewall-cmd --zone=public --remove-port=8088/tcp --permanent3.配置立即生效firewall-cmd --reload4.查看防火墙所有开放的端口firewall-cmd --zone=public --list-ports5.关闭防火墙systemctl stop

1.下载安装包下载2.解压tar -zxvf /opt/soft/kafka_2.11-2.1.0.tgz -C /opt/3.重命名mv kafka_2.11-2.1.0/ kafka4.环境变量配置vim /etc/profile.d/hadoop-eco.sh加入以下内容：export KAFKA_HOME=/opt/kafkaexport PATH=$PATH:$KAFKA_HOME/bin使环境变量生效source /etc/profile.d/hadoop-ec

1.下载安装包下载2.解压tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/3.重命名mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop4环境变量配置vim /etc/profile.d/hadoop-eco.sh加入以下内容：export SQOOP_HOME=/opt/sqoopexport PATH=$PATH:$SQOOP_HOME/bin使环境变量生效sou

集群规划安装目录：/opt目录下安装版本：hbase-1.1.5.tar.gz下载地址：http://archive.apache.org/dist/hbase安装配置0.Hadoop集群Hadoop分布式HA安装部署1.解压tar -zxvf soft/hbase-1.1.5-bin.tar.gz2.重命名mv hbase-1.1.5/ hbase3.配置环境变量vim /etc/profile.d/hadoop-eco.sh添加以下内容export HBASE_HOME

创建索引库curl -XPUT test01:9200/bigdata创建索引curl -XPOST test01:9200/bigdata/product/1 -d '{"name":"hadoop", "author":"Doug Couting", "lastest_version":"3.0.0"}' 查询索引信息获取当前索引库的配置信息curl -XGET test01:9200/bigdata?pretty查询索引库下面的所有索引信息curl -XGET test01:92

注意在EasticSearch 2.x后面的版本只能安装在linux的普通用户下面1.创建 es 用户useradd es2.修改 es 用户密码passwd es3.切换到 es 用户su - es4.解压将elasticsearch-2.3.0.zip上传至 /opt/soft/ 下unzip soft/elasticsearch-2.3.0.zip5.重命名mv elasticsearch-2.3.0 elasticsearch6.配置vim /opt/elas

1.现在centos上默认是没有yum源的,需要自己先配置yum源下载yum源wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm安装yum源rpm -Uvh mysql57-community-release-el7-8.noarch.rpm查看yum repolist all | grep mysql2.在线安装yum install -y mysql-community-server3

集群规划ip 基本的软件 运行的进程test01 jdk、zk、hadoop NameNode、zkfc、zk、journalNodetest02 jdk、zk、hadoop NameNode、zkfc、zk、journalNode、datanode、ResourceManager、NodeManagertest03 jdk、zk、hadoop zk、journalNode、datanode、ResourceManager、NodeMan