<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[java技术分享]]></title><description><![CDATA[主要平常自己学习源码心得分享以及在日常开发中遇到的解决bug的经验分享]]></description><link>https://blog.youkuaiyun.com/u012228523</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u012228523]]></copyright><item><title><![CDATA[SagaTcc分布式事务]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/163158692</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/163158692</guid><author>u012228523</author><pubDate>Fri, 24 Jul 2026 12:20:24 +0800</pubDate><description><![CDATA[SagaTcc 是一个轻量级分布式事务框架，基于 Saga-TCC 模式实现，核心特点包括：1）主控方本地事务不等待远程 Try 返回，避免数据库长事务；2）使用 RocketMQ 推动事务流程，具备削峰能力；3）通过本地数据库持久化保证事务可恢复；4）支持多实例水平扩展。项目提供 Spring Boot Starter，支持并行/顺序分支执行模式，并对各类异常场景提供默认保护。接入步骤包括建表、引入依赖、添加注解和配置参数，通过注解即可快速实现参与方的 Try/Confirm/Cancel 逻辑。框架适用]]></description><category></category></item><item><title><![CDATA[Fastexcel 扩展实战：批处理并发写入与注解驱动读写，40W 数据仅需 2.6 秒]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/162557582</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/162557582</guid><author>u012228523</author><pubDate>Fri, 03 Jul 2026 17:53:01 +0800</pubDate><description><![CDATA[本文介绍了一个基于fastexcel扩展的Java Excel处理框架，主要包含两个模块： fastexcel-batch：支持分页并发导出功能 自动拆分多Sheet处理大数据量 支持后台线程预取数据减少等待时间 提供导出参数配置（分页大小、并发数等） 内置样式和合并单元格支持 40万行数据导出仅需约2.6秒 fastexcel-annotation：提供注解式读写能力 通过@ExcelProperty注解实现字段与列的映射 支持表头自动生成 简化业务代码，类似EasyExcel的使用体验]]></description><category></category></item><item><title><![CDATA[LiteFlow源码]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/149296765</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/149296765</guid><author>u012228523</author><pubDate>Sat, 12 Jul 2025 17:01:03 +0800</pubDate><description><![CDATA[本文介绍了LiteFlow框架的组件初始化流程和请求路由机制。在组件初始化阶段，框架通过扫描带有特定注解的节点，生成对应的代理类，包括普通组件、声明式组件、脚本组件等6种类型。重点关注DeclWarpBeanProcess类，它负责构建代理对象，通过注解传递执行类、方法和参数，灵活调用用户自定义业务逻辑。请求路由时，框架会根据节点ID和名称匹配对应的处理逻辑。整个流程体现了轻量级流程编排框架的灵活设计思想，通过动态代理和注解驱动实现组件管理和流程控制。]]></description><category></category></item><item><title><![CDATA[某个业务采用【规则引擎】重构大幅降低耗时]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/146402875</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/146402875</guid><author>u012228523</author><pubDate>Thu, 20 Mar 2025 18:14:26 +0800</pubDate><description><![CDATA[重构后定时任务耗时。]]></description><category></category></item><item><title><![CDATA[k8s搭建 hive-metastore(iceberg,oss,mysql),kyuubi,spark-3.4.3(iceberg,oss),zookeeper使用阿里云存储桶(oss)]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/143559540</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/143559540</guid><author>u012228523</author><pubDate>Wed, 06 Nov 2024 10:16:52 +0800</pubDate><description><![CDATA[说明：使用iceberg作为湖的开放格式，好处可以兼容flink,spark,starrocks等不同计算引擎。作为对接客户端为了更好的执行业务开发人员的使用可以对接starrocks。在https://helm.sh/zh/docs/topics/version_skew/下载。1、说明这里的镜像文件为了支持阿里云oss都是重新打包镜像的，镜像链接会在文件中给出。2、使用到4台服务器,data4用作mysql搭建，和NFS搭建。4.5、查看可用的nfs地址。5、k8s使用helm安装。]]></description><category></category></item><item><title><![CDATA[解决flink cdc 时间相差8小时问题]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/142883724</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/142883724</guid><author>u012228523</author><pubDate>Sat, 12 Oct 2024 18:29:33 +0800</pubDate><description><![CDATA[说明：由于flink cdc底层使用的是debezium本质问题是debezium 使用的时区写死了UTC.如下图。2、直接修改debezium源码，重新打包。从根本上解决问题，经测试兼容mysql,PG 一下是我修改的源码。1、本次使用的是flink-sql-connector-mysql-cdc-3.1.1.jar 测试。如果各位时间不一样可以按照自己的方式修改。3、然后重新打包flink-cdc。]]></description><category></category></item><item><title><![CDATA[(mysql和pg) -＞ flink-cdc -＞ kafka -＞ flink-sql -＞ StarRocks]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/134555471</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/134555471</guid><author>u012228523</author><pubDate>Wed, 22 Nov 2023 15:58:08 +0800</pubDate><description><![CDATA[【代码】(mysql和pg) -＞ flink-cdc -＞ kafka -＞ flink-sql -＞ StarRocks。]]></description><category></category></item><item><title><![CDATA[MongoDB复杂聚合查询与java中MongoTemplate的api对应]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/132758928</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/132758928</guid><author>u012228523</author><pubDate>Fri, 08 Sep 2023 14:04:50 +0800</pubDate><description><![CDATA[MongoTemplate的API。MongoDB聚合json脚本。]]></description><category></category></item><item><title><![CDATA[使用lambda表达式提取共用代码使其更加简洁]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/132455492</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/132455492</guid><author>u012228523</author><pubDate>Wed, 23 Aug 2023 16:40:39 +0800</pubDate><description><![CDATA[使用lambda表达式提取共用代码使其更加简洁]]></description><category></category></item><item><title><![CDATA[redisson实现可靠高效的延迟队列]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/132339547</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/132339547</guid><author>u012228523</author><pubDate>Thu, 17 Aug 2023 14:28:38 +0800</pubDate><description><![CDATA[redisson实现可靠高效的延迟消息]]></description><category></category></item><item><title><![CDATA[使用redisson客户端java位移运算实现多条件排名]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/131582587</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/131582587</guid><author>u012228523</author><pubDate>Thu, 06 Jul 2023 18:26:49 +0800</pubDate><description><![CDATA[3.1、由于时间戳按照正序排序所以先提交的要拍前面，说明分数要大一些。1、使用条件说明，由于一个分区有大概1万学生按照答题分数进行实时排名。附加题分数最大支持 1111111         =  2 + 4 + 8 + 16 + 32 + 64 + 128。3.2、附加题由于数量有限制分数最大不操过50分，给其分配7位。第三步、如果附加题的分数还相等则按照提交答案的时间戳正序排序。第二步、如果分数相等按照附加题的分数排序。分数  +  附加题分数  +  时间戳。第一步、按照分数排序。]]></description><category></category></item><item><title><![CDATA[记一次cloudera删除/var/lib/cloudera-host-monitor/ts/stream/日志导致无法重启问题]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/131376099</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/131376099</guid><author>u012228523</author><pubDate>Sun, 25 Jun 2023 13:53:08 +0800</pubDate><description><![CDATA[1、报错信息如下：日志目录/var/log/cloudera-scm-firehose/mgmt-cmf-mgmt-HOSTMONITOR-hadoop102.log.out。很明显就是因为删除的日志导致找不到文件。]]></description><category></category></item><item><title><![CDATA[扩展dlink-connector-phoenix使其phoenix-5.0.0支持flink1.16]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/130991499</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/130991499</guid><author>u012228523</author><pubDate>Thu, 01 Jun 2023 17:50:32 +0800</pubDate><description><![CDATA[目前我使用的是CDH6.3.2，flink使用的是1.6，Phoenix版本的是5.0.0这有在我的博客中提到过，hbase使用的是自带的2.x。这就遇到问题了目前有支持的比较好的是dlinky这个里面的插件，我现在需要做的是将dlink-connector-phoenix这个插件编译打包上传到flink的lib目录中使用sql-client进行测试。3、将dlink-connectors中的dlink-connector-phoenix-1.14拷贝一份到同级目录下面。mvn的仓库配置的是。]]></description><category></category></item><item><title><![CDATA[编译flink1.6源码并打包成CDH6.3.2的parcel并且部署CDH6.3.2]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/130811973</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/130811973</guid><author>u012228523</author><pubDate>Mon, 22 May 2023 18:08:50 +0800</pubDate><description><![CDATA[10、将打包好的flink-1.16-SNAPSHOT-bin-scala_2.12.tgz放到flink-parcel目录下。14、FLINK-1.16-SNAPSHOT-BIN-SCALA_2.12_build文件夹中包含的文件。包名：flink-1.16-SNAPSHOT-bin-scala_2.12.tgz。7、打包parcel，建议在阿里云服务器上打包很快。9、修改flink-parcel.properties。3、修改flink目录下的pom.xml文件。4、修改setting.xml文件。]]></description><category></category></item><item><title><![CDATA[【自定义debezium插件支持按照表名hash路由到同一个主题不同分区中】]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/130054437</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/130054437</guid><author>u012228523</author><pubDate>Mon, 10 Apr 2023 11:07:51 +0800</pubDate><description><![CDATA[自定义debezium插件支持按照表名hash路由到同一个主题不同分区中]]></description><category></category></item><item><title><![CDATA[CDH6.3.2引入debezium-connector-mysql-1.9.7监听mysql事件]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/130052851</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/130052851</guid><author>u012228523</author><pubDate>Mon, 10 Apr 2023 10:22:00 +0800</pubDate><description><![CDATA[首先说明一下为啥选用debezium，它能够根据事务的提交顺序向外推送数据，这一点非常重要。再有一个结合kafka集群能够保证高可用，对于熟悉java语言的朋友后面一篇博文会介绍怎样编写插件将事件自定义路由到你想要的主题甚至分区中。
提高按顺序消费事件的并发能力。

如果觉得好，请关注一下，后续将推出编写插件支持按照表名hash取模将事件分配到不同的主题或者分区当中支持多线程顺序并发消费,实现表与表之间的数据一致性]]></description><category></category></item><item><title><![CDATA[spark3.3.1通过hbase-connectors连接CDH6.3.2自带hbase]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/128695098</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/128695098</guid><author>u012228523</author><pubDate>Sun, 15 Jan 2023 15:58:23 +0800</pubDate><description><![CDATA[spark3.3.1通过hbase-connectors连接CDH6.3.2自带hbase
hbase-connectors源码编译
scala脚本测试hbase-connectors
pyspark脚本测试hbase-connectors]]></description><category></category></item><item><title><![CDATA[CDH6.3.2版本pyspark-sql通过hive访问hbase]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/128618042</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/128618042</guid><author>u012228523</author><pubDate>Mon, 09 Jan 2023 17:27:38 +0800</pubDate><description><![CDATA[CDH6.3.2版本pyspark-sql通过hive访问hbase]]></description><category></category></item><item><title><![CDATA[streamsets3.22服务器CDH版本安装]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/128496147</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/128496147</guid><author>u012228523</author><pubDate>Fri, 30 Dec 2022 15:36:23 +0800</pubDate><description><![CDATA[streamsets3.22.3服务器CDH版本安装]]></description><category></category></item><item><title><![CDATA[pyspark结合hive使用 spark on hive方式开发代码附上代码实例]]></title><link>https://blog.youkuaiyun.com/u012228523/article/details/128345250</link><guid>https://blog.youkuaiyun.com/u012228523/article/details/128345250</guid><author>u012228523</author><pubDate>Fri, 16 Dec 2022 17:30:02 +0800</pubDate><description><![CDATA[pyspark结合hive使用 spark on hive方式开发代码附上代码实例]]></description><category></category></item></channel></rss>