<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[day_ue的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/day_ue</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; day_ue]]></copyright><item><title><![CDATA[IP地址解析省份区域信息]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/139899958</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/139899958</guid><author>day_ue</author><pubDate>Sun, 23 Jun 2024 14:36:13 +0800</pubDate><description><![CDATA[解决IP解析省份市区信息（包括ipv4、ipv6）]]></description><category></category></item><item><title><![CDATA[Spark的overwrite问题]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/139456275</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/139456275</guid><author>day_ue</author><pubDate>Tue, 04 Jun 2024 23:16:16 +0800</pubDate><description><![CDATA[比如我们目前有两个分区 20190322 和 20190323 两个分区，现在我们使用 saveAsTable 想覆盖其中一天的分区，结果却是将整个所有分区遮盖了。重建了整个目录，这明显不是我们想要的到的结果。]]></description><category></category></item><item><title><![CDATA[Spark的开发环境配置]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/139456227</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/139456227</guid><author>day_ue</author><pubDate>Tue, 04 Jun 2024 23:14:26 +0800</pubDate><description><![CDATA[这里主要记录一下，我们常用的maven配置，方便后期开发配置环境，避免每次都从零开始配置工程。]]></description><category></category></item><item><title><![CDATA[Elasticsearch写入性能调优]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/132100296</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/132100296</guid><author>day_ue</author><pubDate>Fri, 04 Aug 2023 11:34:07 +0800</pubDate><description><![CDATA[如果业务场景支持将一批数据聚合起来，一次性写入Elasticsarch，那么尽量采用bulk的方式，bulk批量写入的速度远高于一条一条写入大量document的速度。并不是bulk size越大越好，而是根据写入数据量具体来定的，因为越大的bulk size会导致内存压力过大，因此最好一个请求不要发送超过10MB的数据量，以5-10MB为最佳值。]]></description><category></category></item><item><title><![CDATA[Kafka参数优化]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/131711763</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/131711763</guid><author>day_ue</author><pubDate>Thu, 13 Jul 2023 21:10:03 +0800</pubDate><description><![CDATA[一般情况下，Producer压缩消息，Broker保存消息，Consumer解压缩消息，Broker只是保持消息，不会解压缩处理消息；大于0时，如果消息数据小于batch.size，则继续等待，当数据超过batch.size或者等待时间超过linger.ms，则直接发送数据。增加topic的分区数，将topic的数据尽量均匀的落盘到不同的分区；如果设置的缓冲区不够，当生产消息的速度大于消息发送的速度，缓冲区被写满之后，导致用户线程阻塞；根据当前业务生产消息的能力和客户端发送消息的能力，合理配置。]]></description><category></category></item><item><title><![CDATA[数据清洗工作]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/131703052</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/131703052</guid><author>day_ue</author><pubDate>Thu, 13 Jul 2023 15:09:42 +0800</pubDate><description><![CDATA[数据清洗是数据分析的重要步骤之一，通过处理和修正不符合预期、不完整或错误的数据来提高数据的质量和准确性。数据清洗包括数据去重、缺失值处理、异常值处理、格式转换等。数据清洗的基本流程包括数据预处理、数据去重、缺失值处理、异常值处理、数据格式转换、归一化和标准化、数据合并和切分等。数据清洗需要根据实际情况选择合适的方法和技术，避免对数据造成过度干扰，提高数据分析的可靠性和效率。]]></description><category></category></item><item><title><![CDATA[JVM知识点总结]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/131544939</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/131544939</guid><author>day_ue</author><pubDate>Tue, 04 Jul 2023 22:51:54 +0800</pubDate><description><![CDATA[VM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。JVM屏蔽了与具体操作系统平台相关的信息，使Java程序只需生成在Java虚拟机上运行的目标代码（字节码）,就可以在多种平台上不加修改地运行。JVM在执行字节码时，实际上最终还是把字节码解释成具体平台上的机器指令执行。]]></description><category></category></item><item><title><![CDATA[Flink的背压现象]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/131463903</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/131463903</guid><author>day_ue</author><pubDate>Thu, 29 Jun 2023 20:45:01 +0800</pubDate><description><![CDATA[通过构建A->B->C三个算子，为方便测试断开算子间的链接·降低其数据处理能力。]]></description><category></category></item><item><title><![CDATA[spark和flink任务提交流程对比]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/131390383</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/131390383</guid><author>day_ue</author><pubDate>Mon, 26 Jun 2023 20:39:40 +0800</pubDate><description><![CDATA[Flink和spark提交任务流程对比]]></description><category></category></item><item><title><![CDATA[业务架构、数据架构、应用架构、技术架构对比]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/128838625</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/128838625</guid><author>day_ue</author><pubDate>Wed, 01 Feb 2023 18:37:04 +0800</pubDate><description><![CDATA[业务架构、数据架构、应用架构、技术架构区别对比]]></description><category></category></item><item><title><![CDATA[StarRocks资源评估]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/128813387</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/128813387</guid><author>day_ue</author><pubDate>Tue, 31 Jan 2023 10:54:42 +0800</pubDate><description><![CDATA[数据库资源评估]]></description><category></category></item><item><title><![CDATA[JVM的基础常识]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/121105402</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/121105402</guid><author>day_ue</author><pubDate>Tue, 02 Nov 2021 17:47:01 +0800</pubDate><description><![CDATA[1.内存模型


堆
共享数据，存放我们new的对象。


栈
线程私有，存放我们的局部变量表、操作数栈、方法出口等信息。


方法区（元数据空间）
共享数据，存放我们常量、类信息、静态变量。


计数器
线程私有，记录每个线程的计算位置。


2.类加载过程
加载–》校验 --》准备 --》解析 --》初始化


加载
根据查找路径找到对应的class文件，然后导入。


校验
校验class文件的正确性


准备
给类中的静态变量分配内存空间


解析
将常量池中的符号引用转换为直接指向内存地址的直接引]]></description><category></category></item><item><title><![CDATA[spark操作ES中数据出现的问题]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/120992103</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/120992103</guid><author>day_ue</author><pubDate>Wed, 27 Oct 2021 14:20:29 +0800</pubDate><description><![CDATA[Spark读取Es空字符串问题
问题描述：

order_tp在Es中存储为空字符串，读取到Spark中会出现各种意想不到的问题。


ES中存储格式

{
     "_index": "dwd_monitor_yuepengfei_test",
     "_type": "doc",
     "_id": "15",
     "_score": 1,
     "_source": {
       "chnl_cd": "10",
       "order_tp": ""
     }
}

]]></description><category></category></item><item><title><![CDATA[kafka的rebalance]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/120982352</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/120982352</guid><author>day_ue</author><pubDate>Tue, 26 Oct 2021 22:04:59 +0800</pubDate><description><![CDATA[rebalance的出现
订阅Topic的分区数发生变化
简单地说，就是之前 topic 有 10 个分区，现在变成了 20 个，那么多出来的 10 个分区的数据就没人消费了。那么此时就需要进行重平衡，将新增的 10 个分区分给消费组内的消费者进行消费。所以在这个情况下，会发生重平衡。
订阅的Topic个数发生变化
简单地说，一个 consumer group 如果之前只订阅了 A topic，那么其组内的 consumer 知会消费 A topic  的消息。而如果现在新增订阅了 B topic，那么 k]]></description><category></category></item><item><title><![CDATA[彻底搞懂Flink的watermark]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/120896611</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/120896611</guid><author>day_ue</author><pubDate>Thu, 21 Oct 2021 22:47:00 +0800</pubDate><description><![CDATA[方便自己知识查找]]></description><category></category></item><item><title><![CDATA[Flink状态后端]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/120880905</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/120880905</guid><author>day_ue</author><pubDate>Thu, 21 Oct 2021 10:12:47 +0800</pubDate><description><![CDATA[MemoryStateBackend


构造反方

MemoryStateBackend(int maxStateSize, boolean asynchronousSnapshots)



存储方式

State: TaskManager内存
checkpoint: JobManager内存



容量限制

单个state maxStateSize默认5M
maxStateSize &lt;= akka.framesize默认10M
总大小不超过JobManager的内存



推荐使用场景

本地]]></description><category></category></item><item><title><![CDATA[Flink的优化]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/120856684</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/120856684</guid><author>day_ue</author><pubDate>Tue, 19 Oct 2021 23:55:08 +0800</pubDate><description><![CDATA[讲解了Flink的优化方向]]></description><category></category></item><item><title><![CDATA[Flink的流关联]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/120774403</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/120774403</guid><author>day_ue</author><pubDate>Mon, 18 Oct 2021 17:29:21 +0800</pubDate><description><![CDATA[对flink里流与流的关联和流与维表的关联的总结]]></description><category></category></item><item><title><![CDATA[elasticsearch移除type]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/120766941</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/120766941</guid><author>day_ue</author><pubDate>Thu, 14 Oct 2021 16:27:36 +0800</pubDate><description><![CDATA[设计type的初衷
之前es将index、type类比于关系型数据库（例如mysql）中database、table，这么考虑的目的是“方便管理数据之间的关系”。
移除type的原因

在关系型数据库中table是独立的（独立存储），但es中同一个index中不同type是存储在同一个索引中的（lucene的索引文件），因此不同type中相同名字的字段的定义（mapping）必须一致。
不同类型的“记录”存储在同一个index中，会影响lucene的压缩性能。
基于index的统计，一个type下的文档分数]]></description><category></category></item><item><title><![CDATA[Flink的checkpoint怎么内部保证精准消费]]></title><link>https://blog.youkuaiyun.com/day_ue/article/details/120727046</link><guid>https://blog.youkuaiyun.com/day_ue/article/details/120727046</guid><author>day_ue</author><pubDate>Tue, 12 Oct 2021 16:49:13 +0800</pubDate><description><![CDATA[1 流计算中流的状态
1.1 数据状态
首先是流数据状态。在流计算过程中，我们需要处理事件窗口、时间乱序、多流关联等问题。解决这些问题，通常需要对部分流数据进行临时缓存，并在计算完成时再将这些临时缓存清理掉。因此，我们将这些临时保存的部分流数据称为“流数据状态”。
1.2 信息状态
在流计算过程中，我们会得到一些有用的业务信息，比如时间维度的聚合值、关联图谱的一度关联节点数、CEP 的有限状态机等，这些信息会在后续被继续使用，从而需要将它们保存下来。同时在之后的流计算过程中，这些信息还会被不断地查询和更新。]]></description><category></category></item></channel></rss>