sunspeedzy的博客

采用Ansible配置ssh和jdkAnsible简介安装Ansible配置ssh和jdk1. 创建Ansible配置文件ansible.cfghostsvars/main.ymljdk.ymlssh.yml运行Ansible命令配置集群ssh配置集群jdk Ansible简介 Ansible 是基于 Python 语言开发的，主流的自动化运维管理工具，其余的工具还有Puppet和Saltstack。 Ansible只需要在一台普通的服务器上运行即可，不需要在客户端服务器上安装客户端。因为 Ansible

#安装配置mysql yum install mysql-server service mysqld start netstat -nplt | grep 3306 #开机启动 chkconfig mysqld on chkconfig --list mysqld #创建用户 CREATE USER 'hadoop'@'%' IDENTIFIED BY 'hadoop';  CREATE ...

此设置是在Macbook上进行的设置 1. Virtualbox虚拟机的网络设置 2. 配置Virtualbox管理器，并安装linux虚拟机 3. 虚拟机安装好，并启动后，进入root账户配置网络，修改机器名 4. 重启虚拟机后，安装增强工具以实现虚拟机与宿主机之间的共享文件夹

1. 设置hdfs-site.xml 试验环境下，可以把hdfs-site.xml中的dfs.permissions.enabled的值设置为false，从而关闭HDFS的访问权限限制，方便客户端远程调试。 但在生产环境，不要使用此方法。 2. 将core-site.xml，hdfs-site.xml，log4j.properties拷贝到代码工程的resource路径下 采用Ha

1. 解压 2. 配置data、log、out路径和server 3. 创建目录 4. 复制zookeeper到其他节点 5. 配置环境变量 6. 逐个启动验证

1. 解压：  tar -xf Downloads/apache-storm-0.9.6.tar.gz -C ./ 2. 创建 data 路径 cd apache-storm-0.9.6/ mkdir data 3. 配置环境变量 vim ~/.bash_profile export STORM_HOME=/home/zkpk/storm-0.9.7 exp

1. 关闭防火墙，关闭SELINUX 2. 配置时间同步 3. 安装JDK 4. 拷贝虚拟机以创建其他节点 5. 配置host 6. 配置SSH免密登录

1. 解压 tar -xf hadoop-2.7.3.tar.gz  2.创建目录 3. 修改配置文件的JAVA_HOME 4. 配置core-site.xml 5. 配置hdfs-site.xml 6. 编辑mapred-site.xml 7. 编辑yarn-site.xml 8. 编辑slaves 9. 复制到其他节点 10.配置各节点环境变量 11.集群启动 1)

1. tar –zxvf kafka_2.10-0.10.0.1.tgz 2. 配置(config/server.properties) 1) master 节点上 broker.id=0 zookeeper.connect=master:2181 listeners=PLAINTEXT://master:9092 advertised.listeners=PLAINTEXT:

1. 解压 tar -xf Downloads/hbase-1.2.4-bin.tar.gz -C ~/ 2. hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8/ export HBASE_MANAGES_ZK=false    # Tell HBase whether it should manage it's own instance o

1. 不使用预编译版本安装包的原因： 因为开源版本的组件如Hadoop、HBase、flume等等配合使用时可能会有jar包的冲突，所以下载相应的CDH版本进行安装。 因为Spark的预编译版本如 spark-2.2.0-bin-hadoop2.6.tgz spark-2.2.0-bin-hadoop2.7.tgz，可能存在小版本的兼容问题。所以下载Spark2.2的源码，然后进行编译安装。 2....