<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Kiku_xq的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Kenan_07</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Kenan_07]]></copyright><item><title><![CDATA[@Cacheable源码分析——各种参数和最后拼接的key的关系]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/115718329</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/115718329</guid><author>Kenan_07</author><pubDate>Thu, 15 Apr 2021 11:39:56 +0800</pubDate><description><![CDATA[1.使用

具体使用需要先引入相关依赖，然后使用注解在方法上即可。


@Cacheable(cacheManager = "myCacheManager", value = "myValue", keyGenerator = "myKeyGenerator")

这里主要讲解几个参数：

1.cacheManager，缓存管理器，这里可以设置缓存的过期时间，可以设置写缓存的时候是否需要加锁。

2.value，对于缓存key的标识

3.keyGenerator：key生成器，可以拼接方法名+参数名称

]]></description><category></category></item><item><title><![CDATA[大数据入门之分布式计算框架Spark(4) -- Spark Streaming整合Flume、Kafka]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/98656250</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/98656250</guid><author>Kenan_07</author><pubDate>Tue, 06 Aug 2019 22:31:39 +0800</pubDate><description><![CDATA[1.概述

从AppServer产生log4j，Flume通过hostname/port收集日志信息，利用KafkaSink发送给Kafka，Kafka通过两种模式，传给Spark Streaming，完成各个业务维度的统计和分析，统计结果入库。

2.整合流程

vimstreaming.conf（仅供测试）


agent1.sources=avro-source
agent1.channe...]]></description><category></category></item><item><title><![CDATA[大数据入门之分布式计算框架Spark(3) -- Spark Streaming]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/98503079</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/98503079</guid><author>Kenan_07</author><pubDate>Tue, 06 Aug 2019 19:52:39 +0800</pubDate><description><![CDATA[1.概述

Spark Streaming将不同的数据源，经过处理之后，结果输出到外部文件系统。

特点：低延时；能从错误中高效地恢复过来；能够运行在成百上千的节点上；能够将批处理、机器学习、图计算等子框架综合使用

工作原理：

  粗粒度：Spark Streaming接收到实时数据流，把数据按照指定的时间段切成一片片小的数据块，然后把小的数据块传给Spark Engine处理。

 ...]]></description><category></category></item><item><title><![CDATA[大数据入门之分布式计算框架Spark(2) -- Spark SQL]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/98053084</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/98053084</guid><author>Kenan_07</author><pubDate>Thu, 01 Aug 2019 18:57:24 +0800</pubDate><description><![CDATA[1.Spark SQL概述

一个运行在Spark上执行sql的处理框架，可以用来处理结构化的数据【外部数据源（访问hive、json、parquet等文件的数据）】。

Spark SQL提供了SQL的API、DateFrame和DataSet的API

2.Spark SQL架构



  前端可以有不同种的访问方式，Hive AST传过来的就是一个字符串（解析成抽象语法树），在Catal...]]></description><category></category></item><item><title><![CDATA[大数据入门之分布式计算框架Spark(1) -- Spark初次见面]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/98027779</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/98027779</guid><author>Kenan_07</author><pubDate>Thu, 01 Aug 2019 11:58:59 +0800</pubDate><description><![CDATA[1.Spark概念

  Spark是一个基于内存的分布式计算框架。

  效率高：因为是基于内存的，所以在数据处理过程中，数据不会落地，而是存入内存中，效率较MR更高

  易用：提供了很多算子，简化开发流程

  通用性：Spark之上，还有Spark SQL、Spark Streaming、MLlib、GraphX这几个子框架去处理各种应用场景

  运行在各个地方：Sp...]]></description><category></category></item><item><title><![CDATA[Java面试-Linux]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/88805426</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/88805426</guid><author>Kenan_07</author><pubDate>Mon, 25 Mar 2019 20:52:23 +0800</pubDate><description><![CDATA[1.Linux体系结构

    体系结构主要分为用户态(用户上层活动)和内核态
  内核：本质是一段管理计算机硬件设备的程序
  系统调用：内核的访问接口
  公用函数库：系统调用的组合
  Shell：命令解释器，可编程

2.如何查找特定的文件？

    find path [options] params
  f...]]></description><category></category></item><item><title><![CDATA[Java面试-Redis]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/88780767</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/88780767</guid><author>Kenan_07</author><pubDate>Sun, 24 Mar 2019 21:17:04 +0800</pubDate><description><![CDATA[1.为什么Redis能这么快

    完全基于内存，绝大部分请求是纯粹的内存操作，执行效率高
  数据结构简单，对数据操作也简单
  采用单线程，单线程也能处理高并发请求，想多核也可启动多实例
  使用I/O复用模型，非阻塞IO

 1.1 多路I/O复用模型

      FD：文件描述符(一个打开的文件通过唯一的描述符进行引用，该描述...]]></description><category></category></item><item><title><![CDATA[Java面试-数据库]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/88750084</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/88750084</guid><author>Kenan_07</author><pubDate>Sat, 23 Mar 2019 22:11:56 +0800</pubDate><description><![CDATA[1.如何设计一个关系型数据库

分为两个模块。第一是存储(文件系统)；第二是程序实例(存储管理、缓存机制、SQL解析、日志管理、权限划分、容灾机制、索引管理、锁管理)

2.索引

 2.1 为什么要使用索引

      快速查询数据，避免全表扫描

 2.2 什么样的信息能成为索引

      主键、唯一键以及普通键等

 2.3 索引的数据结构

   ...]]></description><category></category></item><item><title><![CDATA[Java面试-计算机网络]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/88712345</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/88712345</guid><author>Kenan_07</author><pubDate>Thu, 21 Mar 2019 19:37:25 +0800</pubDate><description><![CDATA[1.OSI七层模型

    物理层：定义了物理设备的标准，如网线的类型、传输介质速率。传输比特流(网卡)。
  数据链路层：如何格式化数据进行传输，控制对物理介质的访问，提供错误检测和纠正。将比特数据转换成帧(交换机)。
  网络层：将网络地址翻译成对应的物理地址，并决定将数据如何从发送方路由到接收方(路由器)。此层的数据是数据包。TCP/IP中的IP协议。
...]]></description><category></category></item><item><title><![CDATA[大数据入门之分布式消息队列Kafka(2) -- Kafka Java API编程使用与Flume整合]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81975098</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81975098</guid><author>Kenan_07</author><pubDate>Thu, 23 Aug 2018 10:30:18 +0800</pubDate><description><![CDATA[1.前置要求

JDK1.8

Maven3.5.2

2.Java API编程实现

打开IDEA，选择构建一个maven项目，首先我们修改pom.xml文件。


    &lt;properties&gt;
        &lt;scala.version&gt;2.11.8&lt;/scala.version&gt;
        &lt;kafka.version&gt;0.8.2....]]></description><category></category></item><item><title><![CDATA[大数据入门之分布式消息队列Kafka(1) -- Kafka介绍以及环境搭建]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81951844</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81951844</guid><author>Kenan_07</author><pubDate>Thu, 23 Aug 2018 00:18:09 +0800</pubDate><description><![CDATA[1.Kafka概述

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

2.Ka...]]></description><category></category></item><item><title><![CDATA[大数据入门之分布式日志收集框架Flume(2) -- Flume简单使用]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81944363</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81944363</guid><author>Kenan_07</author><pubDate>Wed, 22 Aug 2018 16:08:12 +0800</pubDate><description><![CDATA[1.需求：从指定网络端口采集数据输出到控制台

用Flume就是要写配置文件，所以我们在flume下的conf目录，执行“vi example.conf”，内容如下。


# a1就是agent的名称
# r1就是source的名称，k1是sink的名称，c1是channel的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source的具...]]></description><category></category></item><item><title><![CDATA[大数据入门之分布式日志收集框架Flume(1) -- Flume介绍以及环境搭建]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81942372</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81942372</guid><author>Kenan_07</author><pubDate>Wed, 22 Aug 2018 14:41:08 +0800</pubDate><description><![CDATA[1.Flume概述

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

2.Flume架构及核心组件



Flume里面有三大组件：Source、Channel、Sink。

Source：收集数据（比如从W...]]></description><category></category></item><item><title><![CDATA[大数据入门之Hadoop生态系统(12) -- HBase环境搭建和简单使用]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81906658</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81906658</guid><author>Kenan_07</author><pubDate>Tue, 21 Aug 2018 16:32:15 +0800</pubDate><description><![CDATA[1.前置要求

Hadoop版本2.5.0+（这里我们使用Hadoop-2.6.0-cdh5.7.0，具体搭建请移步大数据入门之Hadoop生态系统(3) -- Hadoop和HDFS环境搭建）。

2.安装部署

安装Zookeeper

前面说过了Zookeeper的作用：RegionServer会注册到Zookeeper中，提供RegionServer的状态信息，使得Master能够随时感知...]]></description><category></category></item><item><title><![CDATA[大数据入门之Hadoop生态系统(11) -- HBase概念]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81905025</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81905025</guid><author>Kenan_07</author><pubDate>Tue, 21 Aug 2018 13:48:06 +0800</pubDate><description><![CDATA[1.HBase概述

HBase是一个分布式的、面向列的开源数据库。它是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

HBase就是一款基于列的、可以高效地查询海量数据的非关系型数据库。

2.HBase架构



RegionServer：读写HDFS中的数据，管理表中的数...]]></description><category></category></item><item><title><![CDATA[大数据入门之Hadoop生态系统(10) -- Hive环境搭建和简单使用]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81877229</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81877229</guid><author>Kenan_07</author><pubDate>Mon, 20 Aug 2018 22:59:27 +0800</pubDate><description><![CDATA[1.Hive环境搭建

下载

我们先把Hive的安装包下载到Linux系统中，下载地址：http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz。这里我们选择和前面Hadoop一样的cdh5.7.0的版本。

然后，我们需要把压缩包解压到“~/app/”目录下（个人习惯），然后在“/etc/profile”中配置Hive的...]]></description><category></category></item><item><title><![CDATA[大数据入门之Hadoop生态系统(9) -- Hive概念]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81875892</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81875892</guid><author>Kenan_07</author><pubDate>Mon, 20 Aug 2018 20:16:37 +0800</pubDate><description><![CDATA[1.Hive概述

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句（HQL）快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive的数据源可以是MySQL、Oracle、文件...]]></description><category></category></item><item><title><![CDATA[大数据入门之Hadoop生态系统(8) -- MapReduce词频统计Java编程实现]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81873008</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81873008</guid><author>Kenan_07</author><pubDate>Mon, 20 Aug 2018 17:24:48 +0800</pubDate><description><![CDATA[1.前置要求

IDEA，JDK1.7+，Maven3.3.9+

我们在编程之前，先准备一份hello.txt文件(放在虚拟机Linux系统下)，用来后续的编程测试，内容随便写点就行，单词和单词之间以空格分隔。


hadoop welcome
hadoop hdfs mapreduce
hadoop hdfs

2.代码编写


package com.imooc.hadoop.mapredu...]]></description><category></category></item><item><title><![CDATA[大数据入门之Hadoop生态系统(7) -- MapReduce概念]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81869822</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81869822</guid><author>Kenan_07</author><pubDate>Mon, 20 Aug 2018 15:56:43 +0800</pubDate><description><![CDATA[1.MapReduce概述

MapReduce是面向大数据并行处理的计算模型、框架和平台。

2.MapReduce编程模型，通过wordcount词频统计分析举例



这里我们通过一张图来进行分析。

Input：就是我们输入的文件的中的单词。

Splitting：我们按照行来拆分成三个文件，我们有三个作业对三个拆分的文件进行并行处理。

Mapping：按照指定的分隔符，把每个输入文件拆...]]></description><category></category></item><item><title><![CDATA[大数据入门之Hadoop生态系统(6) -- YARN环境搭建]]></title><link>https://blog.youkuaiyun.com/Kenan_07/article/details/81866014</link><guid>https://blog.youkuaiyun.com/Kenan_07/article/details/81866014</guid><author>Kenan_07</author><pubDate>Mon, 20 Aug 2018 10:42:16 +0800</pubDate><description><![CDATA[1.前置要求

Windows用户：VMware虚拟机 Centos6.4。(要求主机和虚拟机能够相互通信，具体请查看网上教程)

Linux、Mac用户：可以直接在本地搭建环境。

JDK1.8(具体的安装步骤，网上都有很多，注意我们所有的东西都是安装在虚拟机上的，注意配置到系统环境变量中)

hadoop-2.6.0-cdh5.7.0(具体部署步骤，请移步大数据入门之Hadoop生态系统(3)...]]></description><category></category></item></channel></rss>