- 博客(4)
- 收藏
- 关注
RSS订阅原创 数据清洗代码
ETLDriverimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.Fil.
2021-07-05 15:57:35
634
原创 小型数据采集平台
1. 将IntelliJ IDEA中写好的程序打成jar包导出，移入Linux中执行Jar程序 ，比如：[root@JHB0 module]$ java -classpath log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.root.appclient.AppMain >/opt/module/test.log2.查看 /opt/module/data下的新生成的日志文件========================...
2021-07-05 11:37:38
268
原创 Flume复制和多路复用
Flume安装：1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[root@JHB0 software]$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/2.改名mv apache-flume-1.7.0-bin flume3.修改配置文件[root@JHB0 conf]$ mv flume-env.sh.template flume-env.sh[root@JHB0 conf]
2021-07-05 10:42:38
311
原创 Hadoop集群搭建
1. 安装好linux / 15360 /boot 200M /swap 20482.关闭防火墙 service iptables stop chkconfig iptables off3.设置静态IP，改主机名 编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0 改成=================================DEVICE=eth0TYPE=Ether...
2021-07-05 10:31:23
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人