lfy9477的博客

1. 1.准备Linux环境1.0 设置虚拟软件点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -&

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译前期准备就不详细说了，课堂上都介绍了1.修改...

操作HDFS常用的命令1、创建文件夹hdfs dfs -mkdir 文件夹名2、上传文件到HDFS指定文件夹hdfs dfs -put 源文件路径 目的路径3、删除文件夹hdfs dfs -rm 文件夹路径4、查看文件列表hadoop fs -ls 文件夹路径5、查看文件内容hadoop fs -cat 文件名称...

1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zkexport HBASE_MANAGE...

Hive只在一个节点上安装即可1.上传tar包2.解压tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户）配置HIVE_HOME环境变量rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodepsrpm -ivh MySQL-...

mapreduce job的几种运行模式1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(wc.jar)，上传到服务器，执行命令hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 这种方式会将这个job提交到yarn集群上去运行2、在Linux的eclipse中直接启动Runner类的main...

1.上传zk安装包2.解压3.配置（先在一台节点上配置）3.1添加一个zoo.cfg配置文件$ZOOKEEPER/confmv zoo_sample.cfg zoo.cfg3.2修改配置文件（zoo.cfg） dataDir=/home/hadoop/app/zookeeper-3.4.5/data server.1=itcast05:2888:3888 server.2=...