<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[CurryYoung11的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/CurryYoung11</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; CurryYoung11]]></copyright><item><title><![CDATA[mvn 打包问题]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/116500871</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/116500871</guid><author>CurryYoung11</author><pubDate>Fri, 07 May 2021 19:40:12 +0800</pubDate><description><![CDATA[maven 打包出现：rat.txt
mvn clean -Drat.ignoreErrors=true -Drat.skip=true package  install -Pmaven.test.skip=true


  org.apache.maven.plugins
  maven-surefire-plugin
    
        true
    

mvn常用命令：
mvn package -DskipTests -Dfast
-Dmaven.compile.fork=true
mave]]></description><category></category></item><item><title><![CDATA[解决：git fatal: unable to access OpenSSL SSL_connectCnection was reset in connection to github.com:443]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/116500847</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/116500847</guid><author>CurryYoung11</author><pubDate>Fri, 07 May 2021 19:38:25 +0800</pubDate><description><![CDATA[添加这个玩意就好了，关闭检查
git config --global http.sslverify false

]]></description><category></category></item><item><title><![CDATA[flink-时间语义与 Wartermark （十）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254132</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254132</guid><author>CurryYoung11</author><pubDate>Wed, 01 Apr 2020 20:00:54 +0800</pubDate><description><![CDATA[10.flink-时间语义与 Wartermark （十）
在 Flink 的流式处理中，会涉及到时间的不同概念
Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的
日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事
件时间戳。 
Ingestion Time：（数据通常需要通过消息队列如卡夫卡进入flink）是数据进入 Flink 的时间...]]></description><category></category></item><item><title><![CDATA[fink-DataSet（五）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254082</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254082</guid><author>CurryYoung11</author><pubDate>Wed, 01 Apr 2020 19:58:10 +0800</pubDate><description><![CDATA[5.fink-DataSet（五）
1.source
基于文件
readTextFile(path)
基于集合
fromCollection(Collection)
基于socket
自定义

2.transformations
map：输入一个元素，然后返回一个元素，中间可以做一些清洗转换等操作
flatMap：输入一个元素，可以返回零个，一个或者多个元素
mapPartition：类似map，...]]></description><category></category></item><item><title><![CDATA[fink-DataStream(四)]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254060</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254060</guid><author>CurryYoung11</author><pubDate>Wed, 01 Apr 2020 19:57:01 +0800</pubDate><description><![CDATA[4.fink-DataStream(四)
1.source
1.基于文件
readTextFile(path)
读取文本文件，文件遵循TextInputFormat读取规则，逐行读取并返回。
2.基于socket
socketTextStream从socker中读取数据，元素可以通过一个分隔符切开。
3.基于集合
fromCollection(Collection)
通过java 的collect...]]></description><category></category></item><item><title><![CDATA[flink-部署模式（三）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254034</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254034</guid><author>CurryYoung11</author><pubDate>Wed, 01 Apr 2020 19:55:57 +0800</pubDate><description><![CDATA[3.flink-部署模式（三）
1.local模式
2.standalone
修改conf/flink-conf.yaml
# 必选
# 指定jobmanager的hostname
jobmanager.rpc.address: node01

# 可选
# 指定jobmanager的port
jobmanager.rpc.port: 6123
# 指定jobmanager的可用堆内存量（单位为M...]]></description><category></category></item><item><title><![CDATA[flink-运行时架构（二）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254005</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105254005</guid><author>CurryYoung11</author><pubDate>Wed, 01 Apr 2020 19:54:31 +0800</pubDate><description><![CDATA[2.flink-运行时架构（二）


运行时组件

作业管理器（JobManager)

控制一个应用程序执行的主进程，每个应用程序都会被一个不同的JobManager所控制
JobManager会先接收到要执行的应用程序，这个应用程序包括：作业图（JobGraph)、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的 JAR 包。
JobManager ...]]></description><category></category></item><item><title><![CDATA[flink-简介（一）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105253972</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105253972</guid><author>CurryYoung11</author><pubDate>Wed, 01 Apr 2020 19:53:31 +0800</pubDate><description><![CDATA[1、flink-简介（一）
1.定义：flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算
2.特点：低延迟、高吞吐、结果的准确性和容错性
3.flink主要优势：

事件驱动：每一条消息或记录就是一个事件
基于流的世界观：一切都是流组成的，离线数据是有界的流，实时数据是没有界限的流，即有界和无界的流
分层的API：越顶层越抽象，表达含义越简明，使用越方便。越底层越具体，表达能...]]></description><category></category></item><item><title><![CDATA[flink-状态一致性（十三）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105220950</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105220950</guid><author>CurryYoung11</author><pubDate>Tue, 31 Mar 2020 13:43:37 +0800</pubDate><description><![CDATA[flink-状态一致性
状态一致性
1.有状态的流处理，内部每个算子任务都可以有自己的状态
2.对于流处理内部来说，所谓的状态一致性就是我们所说的计算结果要保证准确
3.一条数据不丢失，也不重复计算
4.在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完成正确的

状态一致性分类：
1.exactly-once
恰好处理一次是最严格的保证，也是最难实现的。恰好处理一次语义不仅仅意味着没有...]]></description><category></category></item><item><title><![CDATA[flink-容错机制（十二）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105220933</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105220933</guid><author>CurryYoung11</author><pubDate>Tue, 31 Mar 2020 13:42:59 +0800</pubDate><description><![CDATA[flink-容错机制
1.一致性检查点
1、flink故障恢复机制的核心，就是应用状态的一致性检查点
2、有状态流应用的一致检查点，就是所有任务的状态，在某个时间点的一份拷贝（快照），在这个时间点，应该就是所有任务都恰好处理完一个相同的输入数据的时候

2.从检查点恢复状态
1.在执行流应用程序期间，flink会定期保存状态的一致检查点
2.如果发生故障，flink讲会使用最近的检查点来一致恢复应...]]></description><category></category></item><item><title><![CDATA[flink-checkpoint和状态后端存储（十一）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105220923</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105220923</guid><author>CurryYoung11</author><pubDate>Tue, 31 Mar 2020 13:42:25 +0800</pubDate><description><![CDATA[flink-checkpoint和状态后端存储
1.checkPoint简介
为了保证state的容错性，Flink需要对state进行checkpoint。
Checkpoint是Flink实现容错机制最核心的功能，它能够根据配置周期性地基于Stream中各个Operator/task的状态来生成快照，从而将这些状态数据定期持久化存储下来，当Flink程序一旦意外崩溃时，重新运行程序时可以有选择...]]></description><category></category></item><item><title><![CDATA[flink-支持的数据类型和序列化（七）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105220886</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105220886</guid><author>CurryYoung11</author><pubDate>Tue, 31 Mar 2020 13:40:42 +0800</pubDate><description><![CDATA[flink-支持的数据类型和序列化
datatype
Java Tuple 和 Scala case class
Java POJO：java实体类
Primitive Types
	默认支持java和scala基本数据类型
General Class Types
	默认支持大多数java和scala class
Hadoop Writables
	支持hadoop中实现了org.apache.h...]]></description><category></category></item><item><title><![CDATA[flink-window窗口操作（九）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105209162</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105209162</guid><author>CurryYoung11</author><pubDate>Mon, 30 Mar 2020 21:28:11 +0800</pubDate><description><![CDATA[flink-window窗口操作
1.window概念
streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割无限数据为有限块进行处理的手段。 
Window 是无限数据流处理的核心，Window 将一个无限的 stream 拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作

2.w...]]></description><category></category></item><item><title><![CDATA[flink-广播变量、累加器、缓存（八）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105208232</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105208232</guid><author>CurryYoung11</author><pubDate>Mon, 30 Mar 2020 20:51:38 +0800</pubDate><description><![CDATA[flink-广播变量、累加器、缓存
broadcast
/*
1.将要广播的数据转成DataSet类型
	 DataSet&lt;Tuple2&lt;String, Integer&gt;&gt; tupleData = env.fromCollection(broadData);
	 
2.自定义富函数 此处定义的是 new RichMapFunction
	在open方法中获取广播变量数据
3...]]></description><category></category></item><item><title><![CDATA[flink-状态编程（六）]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/105207339</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/105207339</guid><author>CurryYoung11</author><pubDate>Mon, 30 Mar 2020 20:12:55 +0800</pubDate><description><![CDATA[flink-状态管理–编程
状态概念
流式计算分为无状态和有状态两种情况：

1.无状态：无状态的计算观察每个独立事件，并
根据最后一个事件输出结果

2.有状态：有状态的计算则会基于多个事件输出结果(需要多个事件结果进行聚合操作)。

3.有状态的部分场景：

(1).所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。

(2).所有用于复杂事件处理的状态机。例如，若在一分钟内收...]]></description><category></category></item><item><title><![CDATA[Linux下的Elasticsearch安装]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/94389965</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/94389965</guid><author>CurryYoung11</author><pubDate>Mon, 30 Mar 2020 20:09:59 +0800</pubDate><description><![CDATA[elasticsearch
环境配置（elasticsearch版本7.2  JDK11以上）
当前使用的版本elasticsearch 7.2、JDK 12.0.1
下载elasticsearch
可以降下载好的elasticsearch传到虚拟机中，也可以直接在虚拟机中下载
本次演示从虚拟机中下载

curl -L -O https://artifacts.elastic.co/downloa...]]></description><category></category></item><item><title><![CDATA[lua 连接redis集群]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/104526480</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/104526480</guid><author>CurryYoung11</author><pubDate>Wed, 26 Feb 2020 22:15:47 +0800</pubDate><description><![CDATA[1.连接redis集群需要用到llua-resty-redis-cluster模块
github地址：https://github.com/cuiweixie/lua-resty-redis-cluster
下载完成后，只需要用到包中2个文件rediscluster.lua和redis_slot.c
2.将lua-resty-redis-cluster/lib/redis_slot.c 拷贝到 o...]]></description><category></category></item><item><title><![CDATA[zeppelin配置hive解释器]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/103690049</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/103690049</guid><author>CurryYoung11</author><pubDate>Tue, 24 Dec 2019 21:24:04 +0800</pubDate><description><![CDATA[1、关闭集群
配置一些几个文件
hdoop的core-site.xml文件
&lt;property&gt;
        &lt;name&gt;hadoop.proxyuser.自己用户.hosts&lt;/name&gt;
        &lt;value&gt;*&lt;/value&gt;
&lt;/property&gt;
&lt;property&gt;
        &lt;...]]></description><category></category></item><item><title><![CDATA[kylin rest api 发送curl创建、build query查询]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/103686448</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/103686448</guid><author>CurryYoung11</author><pubDate>Tue, 24 Dec 2019 17:19:13 +0800</pubDate><description><![CDATA[kylin rest
1、创建cube和buildcube
1.create cube
curl -X POST -H "Authorization: Basic QURNSU46S1lMSU4=" -H "Content-Type: application/json" -d '{"cubeDescData": "{\"uuid\": \"3273a7b1-b338-4523-a9f0-092a1...]]></description><category></category></item><item><title><![CDATA[java jvm内存管理与垃圾回收机制]]></title><link>https://blog.youkuaiyun.com/CurryYoung11/article/details/103002275</link><guid>https://blog.youkuaiyun.com/CurryYoung11/article/details/103002275</guid><author>CurryYoung11</author><pubDate>Sun, 10 Nov 2019 21:11:03 +0800</pubDate><description><![CDATA[1、Java内存管理


程序计数器、虚拟机栈、本地方法栈是哪个区域随着线程生而生，随线程而灭。

1.1、Java内存区域
1.1.1、程序计数器
1、程序计数器(Program CounterRegister) 是一块较小的内存空间,它的作用可以看做是当前线程所执行的字节码的行号指示器. 在虚拟机的概念模型里, 字节码解释器工作时就是通过改变这个计数器的值来选去吓一跳需要执行的字节码指令, 分...]]></description><category></category></item></channel></rss>