Aunean's Blog

<property> <name>io.file.buffer.size</name> <value>4096</value> <description>缓冲区大小，实际工作中根据服务器性能动态调整，这里大小设置为4k</description></property>

hbase的安装部署1.上传安装包，解压，改名2.配置环境变量vi /etc/profileexport HBASE_HOME=/usr/local/src/hbaseexport PATH=$PATH:$HBASE_HOME/bin3.进入hbase目录下的conf目录vi hbase-env.shexport JAVA_HOME=/usr/local/src/jdk1.8export HBASE_MANAGES_ZK=falsevi hbase-site.xml<pro

kafka的安装部署安装kafka需要配置好zookeeper1.上传 tar 包，解压，改名2.配置环境变量vi /etc/profileexport KAFKA_HOME=/usr/local/src/kafkaexport PATH=$PATH:$KAFKA_HOME/binsource /etc/profile3.配置文件# 进入kafka的config目录vi server.propertieslog.dirs=/usr/local/src/kafka/datazook

spark的安装部署官方文档spark的安装1.上传文件，解压tar -zxvf spark* /usr/local/src/2.修改文件名mv spark-2.0.0-bin-hadoop2.6 spark-2.03.修改配置文件# 进入到spark的conf目录mv spark-env.sh.template spark-env.shvi spark-env.shexport JAVA_HOME=/usr/local/src/jdk1.8export SPARK_MASTER

hive的安装部署1.解压tar -zxvf apache-hive* -C /usr/local/src/2.进入hive目录并改名3.修改环境配置# 使环境变量只对当前用户生效vi .bash_profileexport HIVE_HOME=/usr/local/src/hiveexport PATH=$PATH:$HIVE_HOME/binsource .bash_profile# 对所有用户有效vi /etc/profileexport HIVE_HOME=/usr/lo

MySQL的安装部署1.安装 wgetyum -y install wget2.下载 rpm 安装文件wget http://repo.mysql.com/mysql-community-release-el7-7.noarch.rpm3.安装下载的 mysql-community-release-el7-7.noarch.rpm 文件# 安装下载的 mysql-community-release-el7-7.noarch.rpm 文件rpm -ivh mysql-community-re

HDFS HA 环境搭建1.在完成zookeeper的基础上搭建2.在完全分布式集群的主节点上修改配置文件cd /usr/local/src/hadoop-2.6.0/etc/hadoop核心配置文件core-site.xml -> 修改HDFS配置文件hadoop-env.sh -> 不变hdfs-site.xml -> 修改MapReduce配置文件mapred-env.sh -> 不变mapred-site.xml -> 不变slaves

zookeeper搭建1.在完全分布式的基础上搭建检查完全分布式集群，没有问题就可以直接搭建了这里我们可以在主节点配置，然后分发给从节点，再修改从节点的myid2.解压到某个文件夹tar -zxvf zookeeper* -C /usr/local/src/3.进入到zookeeper文件夹创建一个目录，这里叫 datamkdir datacd dataecho 1 > myidcd confmv zoo_sample.cfg zoo.cfg # 修改名字vi zoo.

Hadoop完全分布式搭建1.配置三台IPvi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MO

hadoop伪分布式搭建1.修改 IP 地址vi /etc/sysconfig/network-scripts/ifcfg-ens332.配置其中文件TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_