
Spark相关项目实战
ZFH__ZJ
JAVA大数据菜鸟一枚,QQ群:970045528,欢迎加入交流学习
展开
-
01、CentOS7集群环境搭建
虚拟网卡设置使用VMWare软件,点击编辑,虚拟网络编辑器,将其中一个网卡设置为虚拟网络,具体见图片虚拟网卡设置1和图片虚拟网卡设置2 虚拟网卡设置1 点击图片1的NAT设置按钮,设置图片2的内容 虚拟网卡设置2准备ISO文件存放目录和虚拟机文件存放目录虚拟机使用的ISO文件,和虚拟机生成的文件单独放到各自对应的目录,如下图 文件存放目录1....原创 2019-01-07 13:38:00 · 1323 阅读 · 0 评论 -
02、实战相关软件的安装
说明,软件统一放在/opt/moduble目录下是使用root用户安装的解压缩,重命名命令给修改环境变量,修改的是vi /root/.bashrc是配置文件生效,使用 source /root/.bashrc复制文件,使用xsync命令JDK安装hadoop-2.6.0-cdh5.10.0安装解压缩,重命名为hadoop配置环境变量,添加一下内容并使环境变量生效exp...原创 2019-01-09 10:35:00 · 1237 阅读 · 0 评论 -
03、模拟日志的产生
首先,必须得有一份日志文件,日志文件可以是web项目,每天产生的日志,但是,这里使用java程序模拟产生日志,为了测试,每分钟产生日志pom文件<packaging>jar</packaging> <dependencies> <dependency> <groupId>jun...原创 2019-01-15 14:49:00 · 1548 阅读 · 0 评论 -
04、模拟项目需要的日志
产生日志的代码public class PrintVisitActionLog { private static final Logger log = LoggerFactory.getLogger("liveness"); private static final SimpleDateFormat DATE_FORMAT = new SimpleDa...原创 2019-02-15 16:56:07 · 1447 阅读 · 0 评论 -
05、使用flume采集日志
编写flume配置使用TAILDIR source#表示将r1和c1连接起来# Name the components on this agent #表示agent的名称#r1表示a1的输入源a1.sources = r1#k1表示a1的输出目的地a1.sinks = k1#c1表示a1的缓冲区a1.channels = c1# Describe/configure the...原创 2019-02-20 15:24:48 · 1519 阅读 · 0 评论