desperado0726的博客

1.架构要采集的日志位于hadoop102和hadoop103两个节点上，采集数据到kafka中，这是第一层flume。再从Kafka采集到hdfs中，这是第二层flume。2.第一层flume自定义拦截器，过滤非json数据import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import org.apache.flume.Context;import org.apache.flume.Event;

Hadoop常用配置参数说明core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlcore-site.xml参数默认值说明fs.defaultFSfile:///指定HDFS中NameNode的地址hadoop.tmp.dir/tmp/hadoop-${user.name}指定Hadoop运行时产生文件的存储目录hadoop.http.staticuser.userdr.who通过web界面操作hdfs的

Hadoop运行环境搭建虚拟机环境准备1. 克隆虚拟机2. 修改克隆虚拟机的静态IP2.1修改70-persistent-net.rules，复制 ATTR{address}2.2修改ifcfg-eth03. 修改主机名4. 配置host5. 关闭防火墙6. 创建用户7. 配用户具有root权8．将原来安装好的Hadoop和Java拷贝到新虚拟机/opt目录9．拷贝配置文件10．source配置文件虚拟机环境准备1. 克隆虚拟机2. 修改克隆虚拟机的静态IP2.1修改70-persistent-ne

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/...

<?xml version="1.0" encoding="UTF-8" ?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://ww...

<?xml version="1.0" encoding="UTF-8"?><configuration> <!-- 控制台 appender --> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder&gt...

<?xml version="1.0" encoding="UTF-8" ?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:aop="http://www.sp...

<?xml version="1.0" encoding="UTF-8"?><web-app version="2.4" xmlns="http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch...