<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Carson073的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Carson073</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Carson073]]></copyright><item><title><![CDATA[OpenRASP的功能二次开发]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/153732779</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/153732779</guid><author>Carson073</author><pubDate>Wed, 22 Oct 2025 14:28:32 +0800</pubDate><description><![CDATA[后续会将他们的原理以及在如何通过RASP进行拦截。7. Freemarker引擎注入；6. Velocity引擎注入；9. Nashorn引擎注入；11. JSTL任意文件包含；12.Struts2热补丁；4. SPEL表达式注入；5. OGNL表达式注入；8. Rhino引擎注入；10. 恶意文件上传；1. 网络连接配置；13.恶意文件操作；]]></description><category></category></item><item><title><![CDATA[常见的Web安全漏洞——XSS]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/144115533</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/144115533</guid><author>Carson073</author><pubDate>Thu, 28 Nov 2024 16:57:19 +0800</pubDate><description><![CDATA[跨站脚本攻击(XSS），指攻击者通过篡改网页，嵌入恶意脚本程序，在用户浏览网页时，控制用户浏览器进行恶意操作。]]></description><category></category></item><item><title><![CDATA[关于OpenRASP的功能二次开发]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/142848604</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/142848604</guid><author>Carson073</author><pubDate>Mon, 21 Oct 2024 15:10:41 +0800</pubDate><description><![CDATA[经过这轮的开发，基本可以掌握OpenRASP插件的二次开发了，以反序列化插件作为入门场景是现在浅显易懂的，不过也不要过度乐观的认为OpenRASP二开很简单，因为后续会有一些比较深入的场景，当前的开发模式不一定满足，本人也是入门小白一枚，欢迎各位同行留言交流进步！在com.baidu.openrasp.plugin.js.JS类的pluginConfig中，追加新增的插件类型，这里是deserialization。注意：这个不能漏，漏了调用JS代码的时候会有超时问题。]]></description><category></category></item><item><title><![CDATA[如何实现MySQL对某一张表的binlog日志进行记录]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/140809608</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/140809608</guid><author>Carson073</author><pubDate>Wed, 31 Jul 2024 00:00:52 +0800</pubDate><description><![CDATA[在 MySQL 中，使用触发器（Triggers）来记录表的变更是一种常见的方法。接下来，需要创建触发器来监控表的变更并将变更记录到日志表中。• old_data：变更前的数据（适用于 UPDATE 和 DELETE）。• new_data：变更后的数据（适用于 INSERT 和 UPDATE）。：触发器会对表操作增加额外的开销，特别是在高频次的操作场景中，可能会影响性能。：触发器操作会在事务中执行，如果事务回滚，触发器的操作也会被回滚。：如果触发器未按预期工作，请检查触发器的定义以及表结构是否匹配。]]></description><category></category></item><item><title><![CDATA[如何实现PostgreSQL对某一张表的WAL日志进行记录]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/140809632</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/140809632</guid><author>Carson073</author><pubDate>Tue, 30 Jul 2024 23:48:55 +0800</pubDate><description><![CDATA[PostgreSQL 没有内置的 binlog（binary log）机制像 MySQL 那样。它使用 Write-Ahead Logging (WAL) 来记录数据库的变更。要将这些变更记录到某张表中，通常可以使用逻辑复制（Logical Replication）和触发器（Triggers）来实现。]]></description><category></category></item><item><title><![CDATA[数据开发流程图]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/136414655</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/136414655</guid><author>Carson073</author><pubDate>Sat, 02 Mar 2024 13:52:20 +0800</pubDate><description><![CDATA[分析：原有业务采集混乱，不受调度管理监控，数据不存储不统一，需要频繁转换。背景：公司处于数仓开发的起步阶段，需要构建一个数据开发的流程。行动：改造原有业务，数据开发流程图如下。结果：统一了数据采集方式和数据入仓方式。]]></description><category></category></item><item><title><![CDATA[关于allatori代码混淆技术的一次实践]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/133783529</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/133783529</guid><author>Carson073</author><pubDate>Fri, 13 Oct 2023 14:38:48 +0800</pubDate><description><![CDATA[allatori官方网站：https://allatori.com/
proguard官网： https://www.guardsquare.com/proguard.]]></description><category></category></item><item><title><![CDATA[关于业务库从MySQL迁移到DM8的操作指南]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/133281803</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/133281803</guid><author>Carson073</author><pubDate>Mon, 25 Sep 2023 22:20:32 +0800</pubDate><description><![CDATA[序号问题原因解决方案备注1生成id问题dm不支持UUID可使用sys_guid代替例如：sys_guid AS bill_Id2求两个时间相差天数dm不支持DATEDIFF可使用BIGDATEDIFF代替例如：BIGDATEDIFF(DAY,admission_time,discharge_time)3group by 关键字后面不能使用字段的别名直接使用字段本身4group by 时 select 除了聚合字段和聚合参数，其他字段不允许查询默认标准select限制。]]></description><category></category></item><item><title><![CDATA[JVM调优工具详解以及实战]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/132043841</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/132043841</guid><author>Carson073</author><pubDate>Thu, 03 Aug 2023 20:38:12 +0800</pubDate><description><![CDATA[事先启动一个web应用程序，用jps查看进程id，接着用各种jdk自带的命令优化应用。]]></description><category></category></item><item><title><![CDATA[DataX二次开发——（10）新增hudiwriter]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/131080450</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/131080450</guid><author>Carson073</author><pubDate>Thu, 08 Jun 2023 09:11:48 +0800</pubDate><description><![CDATA[由于离线同步采用Flink或者Spark进行入湖操作需要极大的成本，而且如果遇到跨网络环境，整个Spark和Flink集群都需要通外网，所以考虑采用DataX实现轻量级的离线入湖。]]></description><category></category></item><item><title><![CDATA[各大数据组件数据倾斜的原因和解决办法]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/128099475</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/128099475</guid><author>Carson073</author><pubDate>Thu, 01 Jun 2023 10:31:54 +0800</pubDate><description><![CDATA[在处理大规模数据时，数据倾斜是一个常见的问题。数据倾斜指的是在分布式环境中处理数据时，某些节点上的任务会比其他节点更加繁重，这可能导致性能下降、资源浪费等问题。数据倾斜可能会出现在不同层次的数据处理过程中，例如 map 阶段、reduce 阶段、join 操作等。数据倾斜的背景可以从以下几个方面来解释：数据量分布不均在分布式环境中，数据量分布不均可能导致数据倾斜。通常情况下，每个节点应该处理相同数量的数据，但如果某个节点上的数据量过大或过小，则可能导致该节点上的任务更加繁重或者空闲。]]></description><category></category></item><item><title><![CDATA[Flink实战- （8）Flink UDF实现数据脱敏]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/130976939</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/130976939</guid><author>Carson073</author><pubDate>Wed, 31 May 2023 20:52:16 +0800</pubDate><description><![CDATA[在Flink环境实现数据实时同步的过程中，需要对某些字段进行脱敏处理或者特殊处理，这是需要自己定义UDF函数进行转换。]]></description><category></category></item><item><title><![CDATA[Clickhouse 常见问题及解决方案汇总]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/130581111</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/130581111</guid><author>Carson073</author><pubDate>Tue, 09 May 2023 15:26:09 +0800</pubDate><description><![CDATA[程序是运行在OS 和硬件上的，程序和 OS 息息相关，程序的一些问题会反馈到 OS 的指标上，OS 上的指标也能看出来程序运行的一些问题，所以只有掌握如何看机器负载，对相关指标有清晰的认识才能更好的做好排障工作。]]></description><category></category></item><item><title><![CDATA[Kafka上的优化经验]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/130477161</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/130477161</guid><author>Carson073</author><pubDate>Wed, 03 May 2023 21:21:38 +0800</pubDate><description><![CDATA[从图中可以看出，原始版本在这种情况下会造成⼤量的磁盘读，⽽ Kafka cache。据，不会出现读⼤量磁盘数据的问题，仅仅多了⼀个副本的流量，基本对系统⽆影响。版本，其他版本不⽀持，如果我们引⼊的话，需要针对⽣产环境上的版本进⾏代码修改。是操作系统层⾯的缓存，难于控制，有些时候，会受到污染，从⽽导。开始拷⻉数据，这 会导致⼤量读磁盘，消耗⼤量的 I/O。这样就保障了阻塞⼀条链路，其他的处理链路是畅通的。的写⼊出现延迟，例如是由于磁盘繁忙导致，则会最终将。的整体设计，可以看出，已经很好地解决了上述的两个对。]]></description><category></category></item><item><title><![CDATA[基于H3Core分区的司机轨迹实时存储的技术方案]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/116195603</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/116195603</guid><author>Carson073</author><pubDate>Fri, 28 Apr 2023 16:54:03 +0800</pubDate><description><![CDATA[由数据分析师提出的要求，需要分析每10s各个区域（颗粒度到H3Code 8级 面积约0.7平方公里）的司机分布情况，实现准实时的区域司机分布。H3Code的概念可以参考以下博客：Uber H3简单介绍_Scc_hy的博客-优快云博客一、什么是H3？将地球空间划分成可是识别的单元。将经纬度H3编码成六边形的网格索引。二、为什么用H3？]]></description><category></category></item><item><title><![CDATA[Flink实战-（6）FlinkSQL实现CDC]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/125993050</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/125993050</guid><author>Carson073</author><pubDate>Wed, 26 Apr 2023 15:10:33 +0800</pubDate><description><![CDATA[下载改JAR包，把它加到Flink下的lib路径下，然后重启sql-client；上传相关的依赖包，这几个包在网上很容易找到。进入Flink的lib目录。启动 Flink客户端。]]></description><category></category></item><item><title><![CDATA[采用seatunnel提交Flink和Spark任务]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/130344195</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/130344195</guid><author>Carson073</author><pubDate>Tue, 25 Apr 2023 08:02:49 +0800</pubDate><description><![CDATA[seatunnel 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。seatunnel 让Spark和Flink的使用更简单，更高效。特性。]]></description><category></category></item><item><title><![CDATA[DataX GroovyTransformser 实现自定义函数UDF]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/128097060</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/128097060</guid><author>Carson073</author><pubDate>Mon, 24 Apr 2023 11:34:08 +0800</pubDate><description><![CDATA[在数据同步的过程中，会出现一些字段需要脱敏、替换、或者进行特定处理的情况，通常有两种方式，一种是写一个Transformser，然后打包编译进去，这种方式不太灵活。另一种是使用DataX自带的GroovyTransformser插件，]]></description><category></category></item><item><title><![CDATA[Hive结合Apache Ranger进行数据脱敏]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/130216414</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/130216414</guid><author>Carson073</author><pubDate>Tue, 18 Apr 2023 10:42:59 +0800</pubDate><description><![CDATA[Apache Hive是构建在Hadoop之上的数据仓库，支持通过SQL接口查询分析存储在Hadoop中的数据。在Hive出现之前，数据分析人员需要编写MapReduce作业分析Hadoop中的数据，这种方式繁琐低效，对数据分析人员不友好，因为数据分析人员大部分比较精通SQL，但是编程功底较浅。在这种背景下，2007年Facebook在论文。]]></description><category></category></item><item><title><![CDATA[DataX二次开发——Doris写入时报Content-Length header already present异常处理]]></title><link>https://blog.youkuaiyun.com/Carson073/article/details/130088439</link><guid>https://blog.youkuaiyun.com/Carson073/article/details/130088439</guid><author>Carson073</author><pubDate>Tue, 11 Apr 2023 17:08:47 +0800</pubDate><description><![CDATA[【代码】DataX二次开发——Doris写入时报Content-Length header already present异常处理。]]></description><category></category></item></channel></rss>