我壮壮壮的博客

Redis 4.0.2 集群安装01 安装单机版参见《Redis4.0.4单机版安装》02 创建集群的配置文件创建一个安装配置文件的目录mkdir -p /usr/local/redis/conf创建第一个配置文件 redis_6380.confbind 192.168.140.129protected-mode yesport 6380tcp-ba

2、Elasticsearch 安装部署2.1 准备工作及下载** 1)创建一个es专门的用户（必须），因为es不能用root用户启动。**useradd es -mpasswd mkdir -p /export/servers/esmkdir -p /export/data/esmkdir -p /export/logs/eschown -R es /export/se

4、spark集群安装1、下载对应版本的安装包2、上传安装包到服务器上3、规划一下安装目录4、解压安装包到指定的安装目录5、重命名安装目录6、修改配置文件 cd conf(1) spark-env.sh.template (需要 mv spark-env.sh.template spark-env.sh)配置javahom

package cn.it.wcimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDD//todo:通过scala编写spark的单词计数程序object WordCount {def main(args: Array[String]): Unit =

1、方法转函数def m1(x:Int):Int=x*10val func1=m1 _2、在集合中使用（表示集合中的每一个元素）val list1=List(1,2,3,4,5)val list2=list1.map(_*10)3、在元组中使用（获取对应元组中的元素）val tuple=("hadoop",3.14,100

用shell脚本合并多个文件内容需求描述 现有多个具有相同命名格式及内容格式的文件，要求编写shell脚本将它们合并到一个文件中。被合并文件的命名格式为：YYYYMMDDHHMISS.r，例如：20161018030205.r；文件中包含了若干行记录，每行记录包含26个字符，其中第一个字符为标识位，第7到12个字符为时间(格式：YYMMDD)，例如：000000161019002925000003...

centOS安装ganglia报错 You don't have permission to access /ganglia on this server解决办法解决办法：vi /etc/httpd/conf.d/ganglia.confAlias /ganglia /usr/share/ganglia    <Location /ganglia>    Order deny,allo...

5.1集群部署的基本流程下载安装包、解压安装包、修改配置文件、分发安装包、启动集群5.2集群部署的基础环境准备安装前的准备工作（zk集群已经部署完毕）l 关闭防火墙 chkconfig iptables off  && setenforce 0l 创建用户groupadd realtime &&useradd realtime&& usermod -a -G realt

01 下载安装包wget http://mirrors.hust.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gztar -zxvf hbase-1.3.1-bin.tar.gz -C /export/servers/cd ../servers/mv hbase-1.3.1 hbasevi /etc/profile-export HB

从Apache官方下载的hadoop 2.X.X的编译版本（binary）为32位，小概率不能适应我们的操作系统。另外，在企业中需要对hadoop源码进行修改，所以需要自己处理hadoop源文件后再进行编译。本文以Centos-6.7为例，演示编译hadoop-2.9.0。1、hadoop-2.9.0源文件对环境的要求Requirements:Unix SystemJDK

原文地址：http://blog.youkuaiyun.com/honglei915/article/details/38087959Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6[html] view plain copydependency>      grou

点击流日志采集服务部署1、服务器中安装依赖yum -y install gcc perl pcre-devel openssl openssl-devel 2、上传LuaJIT-2.0.4.tar.gz并安装LuaJITtar -zxvf LuaJIT-2.0.4.tar.gz -C /usr/local/src/cd /usr/local/src/LuaJIT-2.0.4

*作者的ip地址全文不统一，请读者参考时将ip地址请设置成自己的即可1.准备Linux环境1.0 配置好各虚拟机的网络（采用NAT联网模式）第一种：通过Linux图形界面进行修改(桌面版本Centos)进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections-> 选中当前网络System eth0 -> 点击edit按钮

hadoop的日志目录（/home/hadoop/app/hadoop-2.6.4/logs）1、hadoop启动不正常用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里：a、在服务器的终端命令行使用jps查看相关进程（namenode1个节点   datanode3个节点   secondary namenode1个节点）b、如果已经知道了启动

基础准备-----------------------在基础准备部分，主要是设置hadoop运行的系统环境修改系统hostname（通过hostname和/etc/sysconfig/network进行修改）修改hosts文件，将集群所有节点hosts配置进去（集群所有节点保持hosts文件统一）设置NameNode到DataNode的免密码登录

*节点名称全文不统一，请根据读者意愿在/etc/hosts中进行修改安装前需要安装好jdk##下载安装包、解压tar -zxvf zookeeper-3.4.5.tar.gzmv zookeeper-3.4.5 zookeeper##修改环境变量（注意：3台zookeeper都需要修改）vi /etc/profileexport

1.上传tar包2.解压tar -zxvf hive-1.2.1.tar.gz启动bin/hive      show databases；create database itheima;show databases;use itheima;show tables;create table t_test(id int,name str

--查看系统之前是否已安装MySQLrpm -qa | grep mysql--有的话，卸载rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps--离线安装mysql rpmrpm -ivh MySQL-server-5.5.28-1.linux2.6.x86_64.rpm --nodeps --forcerpm -i

Storm集群安装部署详细手册1、安装虚拟机1.1、准备软件1、VMware Workstation 12.zip  虚拟机软件2、CentOS-6.5-x86_64-bin-DVD1.iso  64位操作系统1.2、安装虚拟机软件要想成功安装，务必删除掉已有的虚拟机软件1.3、安装操作系统l 运行虚拟机软件，点击软件右上角的文件，选择新建虚拟机，会弹出新建虚拟机向

Linux系统文件与文件夹权限设置。1、文件夹中所有文件的权限设置：chmod -R 777 文件夹名字2、文件的权限 chmod 777 文件名3、查看文件以及文件的权限：进入文件夹cd /home/xxx/文档进入当前文件夹的子目录：cd ./文件夹名字查看文件夹中所有文件名字：ls -a 所有文件都会展示，包含隐藏文件4、Linux系统获取root权限：su+回车密码：你自己的root密码...