senvil的专栏

export JAVA_HOME=/usr/jdkexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOME PATH CLASSPATHexport HADOOP_HOME=/home/hadoop/hadoop

mahout安装1.  安装1.1.  上传用工具将mahout安装文件mahout-distribution-0.9.tar.gz上传到/home/hadoop文件夹下1.2.  解压su – hadooptar –zxvf mahout-distribution-0.9.tar.gz1.3.  重命名mv mahout-distribution-0.9 maho

hive操作hbase1.  启动hadoop./start-all.sh2.  启动hbase./start-hbase.sh3.  修改hive的配置文件cd /home/hadoop/hive/confvi hive-site.xml添加内容：(辅助jar包),zookeeper地址   hive.aux.jars.path  file

1、下载1、首先从git下载源码https://github.com/winghc/hadoop2x-eclipse-plugin2、编译准备win7编译首先需要安装jdk、ant、Eclipse3、解压插件将插件hadoop2x-eclipse-plugin-master.zip解压到某个的目录。如：D:\ hadoop2x-eclipse-plugin-master

hive安装文档1.  上传、解压、重命名1.1.  上传在随便一台有hadoop环境的机器上上传安装文件su - hadooprz –y1.2.  解压解压缩：hive-0.9.0-bin.tar.gztar -zxvf hive-0.9.0-bin.tar.gz1.3.  重命名mv hive-0.9.0-bin hive2.  修改环境变量su

zookeeper安装1.  准备环境（2n-1台linux机器或者虚拟机:由于zookeeper的paxos算法要求半数以上存活则为可用，所以必须准备单数个服务器搭建环境）2.  上传用工具上传zookeeper安装文件到/home/hadoop，并确保文件的所属用户书hadoop，如果不是，需要用root用户修改文件的所属者。命令：su – rootcd /ho

1、关闭iptables防火墙：查看：chkconfig --list iptables（1） 重启后永久性生效：   开启：chkconfig iptables on   关闭：chkconfig iptables off   （2） 即时生效，重启后失效：   开启：service iptables start   关闭：service iptables stop 

storm安装文档1.  安装python注：默认centos6.5中已经存在python2.6.6,可以使用python –V查看，我的机器默认已存在所以在此我就不安装了，提供步骤如下。1.1.  上传用工具上传python安装文件1.2.  解压tar –jxvf Python-2.6.6.tar.bz2 1.3.  编译cd Python-2.6.6   

1.  关闭防火墙防火墙分为两种：iptables和selinux，都关闭。1.1.  关闭iptables1、  su – root(切换用户)2、临时关闭（不用重启机器）：service iptables stop3、永久关闭：chkconfig iptables off 4、查看状态chkconfig iptables –list5、如果现实的都是关闭，就可以了。

1.  安装mysql1.1.  通过yum来进行mysql的安装su - rootyum install -y mysql-server mysql mysql-deve在等待了一番时间后…… 1.2.  查看mysql版本rpm -qi mysql-server 至此我们的mysql数据库已经安装完成了。2.  启动mysql2.1.  启动serv

安装文档1.  预先安装zookeeper如果已经存在一个zookeeper集群，直接使用即可，不存在，需要安装。2.  安装kafka2.1.  上传用工具将kafka安装文件kafka_2.8.0-0.8.0.tar.gz上传到/home/hadoop/下2.2.  解压su – hadooptar -zxvf kafka_2.8.0-0.8.0.tar.gz

hadoop2安装文档1.  安装jdk每台机器都安装2.  安装ssh每台机器都安装3.  安装zookeeper随便找奇数台机器上安装。我的是在：master1:2181,master1ha:2181,master2:21814.  配置host、机器规划机器规划：master1:    192.168.56.151    (active

flume安装1.  上传用工具或者命令上传安装文件到/home/hadoop下2.  解压su – hadooptar –zxvf apache-flume-1.4.0-bin.tar3.  重命名mv apache-flume-1.4.0 flume4.  修改环境变量su – rootvi /etc/proflie添加内容：ex

sqoop安装1.  上传、解压、重命名1.1.  在任意hive机器上上传sqoopsu - hadooprz –y1.2.  解压tar -zxvfsqoop-1.4.4.bin__hadoop-1.0.0.tar.gz1.3.  重命名mv sqoop-1.4.4.bin__hadoop-1.0.0 sqoop2.  设置环境变量su – root

mysql优化1.  设置高速缓存1.1.  设置高速缓存1.1.1.  查看高速缓存是否可用SHOW VARIABLES LIKE ‘have_query_cache’;1.1.2.  设置和查询高速缓存大小SET GLOBAL query_cache_size = 41984;SHOW VARIABLES LIKE ‘query_cache_size’;+---

修改hive的元数据库1.  安装mysql1.1.  通过yum来进行mysql的安装su - rootyum install -y mysql-server mysql mysql-deve在等待了一番时间后…… 1.2.  查看mysql版本rpm -qi mysql-server 至此我们的mysql数据库已经安装完成了。2.  启动mysql2

hwi(hive web interface)是hive命令行接口的一个补充，主要功能包括：1.shema browsing ：获取table的信息，包括serde、columen name、column type2.detached query execution：在hive命令行界面，用户如果需要执行多个查询，则需要同时打开多个命令行界面。hwi允许用户同时开始多个查询，并且查看执行状

hbase安装文档1.  上传首先确保用户是hadoop，用工具将hbase安装包hbase-0.94.6.tar.gz上传到/home/hadoop下，确保hbase-0.94.6.tar.gz的用户是hadoop，如果不是，执行chown命令，见上文2.  解压su – hadooptar –zxvf hbase-0.94.6.tar.gz3.  重命名mv hba

1、官网下载VirtualBox，傻瓜安装2、在VirtualBox下新建linux，用iso镜像安装centos注意：安装之前，需要修改存储，用iso镜像安装，需要修改网络，改为桥接3、安装完成：修改网络        解释：修改对应网卡的IP地址的配置文件# vi /etc/sysconfig/network-scripts/ifcfg-eth0