<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[roi666的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/roi666</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; roi666]]></copyright><item><title><![CDATA[Flink中的双流Join]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/136228009</link><guid>https://blog.youkuaiyun.com/roi666/article/details/136228009</guid><author>roi666</author><pubDate>Thu, 22 Feb 2024 14:40:58 +0800</pubDate><description><![CDATA[在本例中，我们使用大小为2毫秒的滑动窗口，并将其滑动1毫秒，从而产生滑动窗口[-1，0]，[0,1]，[1,2]，[2,3]…在这里，您还可以看到，例如，在窗口[2,3]中，橙色②与绿色③连接，但在窗口[1,2]中没有与任何对象连接。在当前滑动窗口中，一个流的元素没有来自另一个流的元素，则不会发射！流B的元素的时间戳 >= 流A的元素时间戳 + 下界,且,流B的元素的时间戳]]></description><category></category></item><item><title><![CDATA[StringBuilder类中常用方法及应用举例]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/136213652</link><guid>https://blog.youkuaiyun.com/roi666/article/details/136213652</guid><author>roi666</author><pubDate>Thu, 22 Feb 2024 10:52:52 +0800</pubDate><description><![CDATA[String类是final类型的，所以使用String定义的字符串是一个常量，因此一旦创建，内容和长度不可改变。如果需要修改，必须要新建一个字符串。StringBuffer类和String类的最大区别在于它的长度和内容都可以进行多次修改。StringBuffer类似一个容器，当在其中添加或删除时，容器不会变化，不会产生新的字符串对象。]]></description><category></category></item><item><title><![CDATA[Maxwell安装部署]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/136192709</link><guid>https://blog.youkuaiyun.com/roi666/article/details/136192709</guid><author>roi666</author><pubDate>Tue, 20 Feb 2024 18:24:12 +0800</pubDate><description><![CDATA[第一条type为bootstrap-start和最后一条type为bootstrap-complete的数据，是bootstrap开始和结束的标志，不包含数据，中间的type为bootstrap-insert的数据才包含数据。Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）等等，故需要在MySQL为Maxwell创建数据库及用户。一次bootstrap输出的所有记录的ts都相同，为bootstrap开始的时间。]]></description><category></category></item><item><title><![CDATA[迭代器中遍历元素是用到的next()方法]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/136166489</link><guid>https://blog.youkuaiyun.com/roi666/article/details/136166489</guid><author>roi666</author><pubDate>Mon, 19 Feb 2024 17:17:54 +0800</pubDate><description><![CDATA[如果下一地址有元素，则  iterator  (即指针)通过调用  next()  方法，将该地址的元素值返回给定义的变量，调用  next()  方法后，指针p会自动移向下一元素的地址；关于  next()  方法的理解主要在于调用  next()  后，容器  iterator  (即比喻的那个p指针)发生的变化；next()  方法的内部原理并非是指针，在java中没有没有指针的说法，这里只是为了理解更加方便， 从而用指针做相关的解释。一、先把p指针的下一地址的元素返回；next()  方法解释。]]></description><category></category></item><item><title><![CDATA[Redis简介和数据类型]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135818616</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135818616</guid><author>roi666</author><pubDate>Thu, 01 Feb 2024 18:23:18 +0800</pubDate><description><![CDATA[Redis是完全开源（BSD许可）的内存数据是一个高性能的 key-value 数据库，用作数据库、缓存、消息代理和流式处理引擎。Redis 提供，例如、集、带有范围查询的和。Redis 具有内置复制、和不同级别的，并通过 Redis Sentinel 和的自动分区提供高可用性。Redis使用内存中数据集。]]></description><category></category></item><item><title><![CDATA[HBase表结构]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135919960</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135919960</guid><author>roi666</author><pubDate>Mon, 29 Jan 2024 20:15:20 +0800</pubDate><description><![CDATA[HBase是非关系型数据库，是高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。]]></description><category></category></item><item><title><![CDATA[基于scala使用flink将kafka数据写入mysql示例]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135883601</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135883601</guid><author>roi666</author><pubDate>Sat, 27 Jan 2024 15:30:56 +0800</pubDate><description><![CDATA[创建与MySQL连接方法的类。指定kafka数据 并显示。设置flink流处理环境。从kafka源创建数据流。]]></description><category></category></item><item><title><![CDATA[Flink数据实时写入HBase]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135872496</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135872496</guid><author>roi666</author><pubDate>Fri, 26 Jan 2024 18:26:28 +0800</pubDate><description><![CDATA[【代码】Flink数据实时写入HBase。]]></description><category></category></item><item><title><![CDATA[Flink中定时器的使用]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135849206</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135849206</guid><author>roi666</author><pubDate>Thu, 25 Jan 2024 20:16:47 +0800</pubDate><description><![CDATA[我们在其processElement()方法中注册Timer，然后覆写其onTimer()方法作为Timer触发时的回调逻辑。基于处理时间或者事件时间处理过一个元素之后，注册一个定时器，然后在指定的时间运行。监控水位传感器的水位值，如果水位值在（处理时间）5秒内连续上上，则报警。当水位线大于等于定时器注册的时间时，触发定时器执行回调函数。processing time的定时器。对处理时间和事件时间的变化作出反应。让 Flink 流处理程序。1.基于处理时间的定时器。2.基于事件时间的定时器。]]></description><category></category></item><item><title><![CDATA[Flink富函数（Rich Functions）]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135830307</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135830307</guid><author>roi666</author><pubDate>Wed, 24 Jan 2024 20:33:59 +0800</pubDate><description><![CDATA[是 DataStream API 提供的一个函数类的接口，所有 Flink 函数类都有其 Rich 版本。它与常规函数的不同在于，，并拥有一些生命周期方法，所以可以实现更复杂的功能。2.匿名函数（Lambda Functions）1.函数类(Function Classes)还有一个生命周期的概念。3.富函数（Rich Functions）实现 FilterFunction 接口。还可以将字符串当作参数传进去。还可以将函数实现成匿名类。可以获取运行环境的上下文。]]></description><category></category></item><item><title><![CDATA[Flink源算子、转换算子和输出算子（DataSet）]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135766104</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135766104</guid><author>roi666</author><pubDate>Tue, 23 Jan 2024 15:32:10 +0800</pubDate><description><![CDATA[但是，压缩文件可能不会并行读取，可能是顺序读取的，这样可能会影响作业的可伸缩性。Flink是一种一站式处理的框架，既可以进行批处理（DataSet），也可以进行流处理（DataStream）rightOuterJoin：右外连接,左边的Dataset中的每一个元素，去连接左边的元素。交叉操作，通过形成这个数据集和其他数据集的笛卡尔积，创建一个新的数据集。对一个文件目录内的所有文件，包括所有子目录中的所有文件的遍历访问方式。左外连接,左边的Dataset中的每一个元素，去连接右边的元素。]]></description><category></category></item><item><title><![CDATA[采集样例1]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135658428</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135658428</guid><author>roi666</author><pubDate>Tue, 23 Jan 2024 10:25:57 +0800</pubDate><description><![CDATA[kafkaStream 中的每行数据拆分为一个数组，并从中提取第1和第10个元素，然后创建一个新的整数对，并将该对作为新的数据流 dateStream 的元素。（5）如果消费者在主题中没有找到初始偏移量，它将自动从主题的最早消息开始消费。（2）序列化消息键的类，意味着消息键将被序列化为字符串格式。从名为 "ProduceRecord" 的 Kafka 主题中读取字符串数据。定义一个Flink流处理环境，设置并行度为1，处理时间进行计算。（3）反序列化消息键的类。（4）反序列化消息值的。]]></description><category></category></item><item><title><![CDATA[Flink处理函数（ProcessFunction、KeyedProcessFunction、ProcessWindowFunction、 ProcessAllWindowFunction）]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135762404</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135762404</guid><author>roi666</author><pubDate>Tue, 23 Jan 2024 09:07:05 +0800</pubDate><description><![CDATA[/定义一小时窗口@Overridecount++;]]></description><category></category></item><item><title><![CDATA[DENIED Redis is running in protected mode because protected mode is enabled, no bind address was ...]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135741404</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135741404</guid><author>roi666</author><pubDate>Mon, 22 Jan 2024 14:28:06 +0800</pubDate><description><![CDATA[将文件位置切换为redis文件夹下的src中。进入redis数据库。]]></description><category></category></item><item><title><![CDATA[Flink容错机制]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135668666</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135668666</guid><author>roi666</author><pubDate>Sat, 20 Jan 2024 18:45:52 +0800</pubDate><description><![CDATA[flink是流处理，数据是在不停的进入并计算，如果出现故障，那么之前所做的计算将销毁。利用检查点可以将之前的数据和计算结果进行保存。]]></description><category></category></item><item><title><![CDATA[Flink窗口API、窗口分配器和窗口函数]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135690441</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135690441</guid><author>roi666</author><pubDate>Fri, 19 Jan 2024 14:51:49 +0800</pubDate><description><![CDATA[需要先对DataStream调用.keyBy()进行按键分区，然后再调用.window()定义窗口。]]></description><category></category></item><item><title><![CDATA[Flink源算子示例]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135673776</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135673776</guid><author>roi666</author><pubDate>Thu, 18 Jan 2024 19:20:45 +0800</pubDate><description><![CDATA[尖括号前面的数字是因为此代码未设置并行度 ，所以默认为12个并行度，他的运算随机分配到这十二个中，若再次运行，前面的数字还会不相同。或者将改为则可不用添加数组，直接写就可执行。]]></description><category></category></item><item><title><![CDATA[使用批处理执行WordCount]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135665294</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135665294</guid><author>roi666</author><pubDate>Thu, 18 Jan 2024 09:42:46 +0800</pubDate><description><![CDATA[Flink有无界流(DataStream)与有界流(DataSet)，这两者是flink中主要的数据源，DataStream常用于流处理，DataSet用于批处理。将words.txt文件读取出来并放到inputDataSet中，并返回一个文本文件的数据集，其中每一行都是一个记录，并且每行都是一个字符串。flatMap:多用于处理数据流或数据集，将接受的数据转换成为多个输出元素，也就是将数组等拆开，以便后续计算。将数据一个个分出来，再分组，并进行累加。在文件中新建一个words.txt文件夹，并编辑。]]></description><category></category></item><item><title><![CDATA[Flink知识点概述]]></title><link>https://blog.youkuaiyun.com/roi666/article/details/135656936</link><guid>https://blog.youkuaiyun.com/roi666/article/details/135656936</guid><author>roi666</author><pubDate>Wed, 17 Jan 2024 18:34:44 +0800</pubDate><description><![CDATA[stream.keyBy()
                               .window()
                               .aggregate()









                会话窗口，超过五秒没数据，自动生成新的窗口]]></description><category></category></item></channel></rss>