_hello_world_的博客

1. 准备工作修改主机名修改hostname2. 克隆虚拟机3. 修改数据节点的hostname和ip地址重启网络服务验证通信是否完成4. 各主机间无密码通信测试是否配置成功Hadoop的4+1个文件配置1. core-site.xml2. hdfs-site.xml3. mapred-site.xml.template4....

FS Shellcat示例：返回值：chgrpchmodchowncopyFromLocalcopyToLocalcp返回值：du返回值：dusexpungeget示例：返回值：getmergels示例：返回值：lsrmkdir示例：返回值：mo...

1. 本地创建文本文件[root@s166 fantj]# mkdir input[root@s166 fantj]# cd input/[root@s166 input]# echo "hello fantj" > file1.txt[root@s166 input]# echo "hello hadoop" > file2.txt[root@s166 input]#...

环境介绍首先要做到各个主机之间无密ssh连接。这样会最大可能方便的控制。脚本命名为status#!/bin/bashparams=$@i=166for((i=166;i<=169;i++));do echo -------s$i $params ------- ssh s$i "$params"done测试...

1. 绑定数据1.1 创建表&创建文本文件创建文本文件test.txt1.2 从本地导入到hive1.3 从hdfs导入到hive先将test文件上传到hdfs中进入hive，创建表t5执行导入1. 绑定数据1.1 创建表&创建文本文件create table fantj.t3(id int,name s...

flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，可以是文件、可以是hdfs。安装tar -zxvf apache-flume-1.6.0-bin.tar.gz配置环境变量export FLUME_HOME=/xxx/flumeexport PATH=$PATH:$FLUME_HOME/bin修改conf下的flu...

1. 从HDFS导出到RDBMS数据库1.1 准备工作写一个文件sqoop_export.txt1201,laojiao, manager,50000, TP1202,fantj,preader,50000,TP1203,jiao,dev,30000,AC1204,laowang,dev,30000,AC1205,laodu,admin,20000,TP1206,...

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。1. 安装准备工作azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2...