<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[AlITTLELOVE0的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/AlITTLELOVE0</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; AlITTLELOVE0]]></copyright><item><title><![CDATA[spark自定义UDAF函数]]></title><link>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106916432</link><guid>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106916432</guid><author>AlITTLELOVE0</author><pubDate>Tue, 23 Jun 2020 09:42:34 +0800</pubDate><description><![CDATA[import org.apache.spark.sql.Row
import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}
import org.apache.spark.sql.types.{DataType, StringType, StructField, StructType}

class GroupConcatDistinct extends UserDefin.]]></description><category></category></item><item><title><![CDATA[scala中常用工具类整理]]></title><link>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106871149</link><guid>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106871149</guid><author>AlITTLELOVE0</author><pubDate>Sat, 20 Jun 2020 13:20:09 +0800</pubDate><description><![CDATA[/*
 * Copyright (c) 2018. Atguigu Inc. All Rights Reserved.
 */

package commons.utils

import java.text.SimpleDateFormat
import java.util.{Calendar, Date}

import net.sf.json.JSONObject
import org.joda.time.DateTime
import org.joda.time.format.DateTimeFo.]]></description><category></category></item><item><title><![CDATA[HBASE知识回顾]]></title><link>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106851139</link><guid>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106851139</guid><author>AlITTLELOVE0</author><pubDate>Fri, 19 Jun 2020 10:43:21 +0800</pubDate><description><![CDATA[HBase 概念
NameSpace ： 可以把NameSpace理解为RDBMS的“数据库”
Table：表名必须是能用文件路径里的合法名字（Hbase表映射为HDFS上文件）
Row : 在表里面，每一行代表一个数据对象，每一行都是以一个行键来进行唯一标识的，行键没有特定的数据类型，以二进制字节来存储
Column ：Hbase的列由Column family 和Column qualifier 组成，由冒号（：）进行间隔，比如family ：qualifier
RowKey ： 可以唯一标识一行记录.]]></description><category></category></item><item><title><![CDATA[Kafka知识回顾]]></title><link>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106849683</link><guid>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106849683</guid><author>AlITTLELOVE0</author><pubDate>Fri, 19 Jun 2020 09:51:09 +0800</pubDate><description><![CDATA[为什么要使用Kafka？

1.解耦合

2.削峰



kafka基本架构与message结构



kafka由producer，broker，consumer组成

message由key和value组成

如果key不为空会根据hashcode值，分配到不同的分区里面



如果key == null,则从sendPartitionPerTopicCache(sendPartitionPerTopicCache的类型是HashMap.empty[String, Int])中获取分区ID，如果找到了.]]></description><category></category></item><item><title><![CDATA[Flume框架回顾]]></title><link>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106848756</link><guid>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106848756</guid><author>AlITTLELOVE0</author><pubDate>Fri, 19 Jun 2020 08:48:10 +0800</pubDate><description><![CDATA[Flume的三大组件以及Event结构？

source ，channel，sink

Event有两部分构成：header和body，body里面是存真正数据的



1）Source

（1）Taildir Source相比Exec Source、Spooling Directory Source的优势

TailDirSource：断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。

ExecSource可以实时搜集数据，但是在Flume不运行或...]]></description><category></category></item><item><title><![CDATA[sparkstreaming和kafka集成知识回顾]]></title><link>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106811380</link><guid>https://blog.youkuaiyun.com/AlITTLELOVE0/article/details/106811380</guid><author>AlITTLELOVE0</author><pubDate>Thu, 18 Jun 2020 11:35:34 +0800</pubDate><description><![CDATA[SparkStreaming的Recevier方式和直连方式有什么区别？


Recevier接收固定时间间隔的数据（放在内存当中），使用kafka高级的API，自动维护偏移量，达到固定时间才进行处理，效率低并且容易丢失数据



Direct直连方式，相当于直接连到kafka的分区上，使用kafka底层的API，效率高，需要自己维护偏移量



...]]></description><category></category></item></channel></rss>