<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[bigdataJ的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/bigdataJ</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; bigdataJ]]></copyright><item><title><![CDATA[简简单单kafka（一）]]></title><link>https://blog.youkuaiyun.com/bigdataJ/article/details/108287186</link><guid>https://blog.youkuaiyun.com/bigdataJ/article/details/108287186</guid><author>bigdataJ</author><pubDate>Sun, 30 Aug 2020 13:00:21 +0800</pubDate><description><![CDATA[1.认识kafka

]]></description><category></category></item><item><title><![CDATA[Flume中自定义Source和自定义Sink]]></title><link>https://blog.youkuaiyun.com/bigdataJ/article/details/108287014</link><guid>https://blog.youkuaiyun.com/bigdataJ/article/details/108287014</guid><author>bigdataJ</author><pubDate>Fri, 28 Aug 2020 21:26:25 +0800</pubDate><description><![CDATA[自定义Source
Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定义某些source。
根据官方说明自定义MySource需要继承AbstractSource类并实现]]></description><category></category></item><item><title><![CDATA[Hive经典案例之蚂蚁森林（二）]]></title><link>https://blog.youkuaiyun.com/bigdataJ/article/details/108269239</link><guid>https://blog.youkuaiyun.com/bigdataJ/article/details/108269239</guid><author>bigdataJ</author><pubDate>Thu, 27 Aug 2020 22:09:06 +0800</pubDate><description><![CDATA[需求
2、蚂蚁森林低碳用户排名分析
问题：查询user_low_carbon表中每日流水记录，条件为：
用户在2017年，连续三天（或以上）的天数里，
每天减少碳排放（low_carbon）都超过100g的用户低碳流水。
需要查询返回满足以上条件的user_low_carbon表中的记录流水。
例如用户u_002符合条件的记录如下，因为2017/1/2~2017/1/5连续四天的碳排放量之和都大于等于100g：
分析：首先根据用户和天数进行分组，过滤掉总能量小于100的用户。
接下来就是比较难理解的一点，就]]></description><category></category></item><item><title><![CDATA[Flume入门案例（三个简单的小案例）]]></title><link>https://blog.youkuaiyun.com/bigdataJ/article/details/108249777</link><guid>https://blog.youkuaiyun.com/bigdataJ/article/details/108249777</guid><author>bigdataJ</author><pubDate>Wed, 26 Aug 2020 23:44:15 +0800</pubDate><description><![CDATA[案例一：使用Flume监听一个端口，收集该端口数据，并打印到控制台。
（1）安装netcat工具
[@hadoop102 software]$ sudo yum install -y nc

（2）判断44444端口是否被占用
[@hadoop102 flume-telnet]$ sudo netstat -tunlp | grep 44444

（3）创建Flume Agent配置文件netcat-flume-logger.conf
在flume目录下创建job文件夹并进入job文件夹。
[@hadoop]]></description><category></category></item><item><title><![CDATA[Hive经典案例之蚂蚁森林(一)]]></title><link>https://blog.youkuaiyun.com/bigdataJ/article/details/108228207</link><guid>https://blog.youkuaiyun.com/bigdataJ/article/details/108228207</guid><author>bigdataJ</author><pubDate>Tue, 25 Aug 2020 20:31:52 +0800</pubDate><description><![CDATA[Hive经典案例之蚂蚁森林
以下表记录了用户每天的蚂蚁森林低碳生活领取的记录流水。
table_name：user_low_carbon
user_id    data_dt     low_carbon
用户        日期         减少碳排放（g）
蚂蚁森林植物换购表，用于记录申领环保植物所需要减少的碳排放量
table_name:  plant_carbon
plant_id     plant_name     low_carbon
植物编号	植物名	    换购植物所需要的碳
表数据：]]></description><category></category></item><item><title><![CDATA[JDBC那些事]]></title><link>https://blog.youkuaiyun.com/bigdataJ/article/details/108180758</link><guid>https://blog.youkuaiyun.com/bigdataJ/article/details/108180758</guid><author>bigdataJ</author><pubDate>Sun, 23 Aug 2020 11:14:04 +0800</pubDate><description><![CDATA[一JDBC概述
Java提供的一套用来操作数据的接口
二如何获取数据库的连接
1.获取数据库连接的必要条件
/*
	①数据必须是正常的在运行。
	②数据库的账号和密码必须正确
	③提供正确的驱动程序
*/

2.方式一：Driver
 //多态：创建驱动程序的对象
Driver driver = new com.mysql.jdbc.Driver();
//获取mysql连接对象
Properties info = new Properties();
info.setProperty("user","roo]]></description><category></category></item></channel></rss>