<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Mathieu66的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Mathieu66</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Mathieu66]]></copyright><item><title><![CDATA[Json 转义符号处理（Mongo changeStream op log）]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/146201840</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/146201840</guid><author>Mathieu66</author><pubDate>Wed, 12 Mar 2025 12:40:08 +0800</pubDate><description><![CDATA[使用mongo-kafka组件订阅mongo的changeStream得到 一个带有很多转义符号的json字符串。]]></description><category></category></item><item><title><![CDATA[Web3j客户端获取区块链数据示例]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/128878310</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/128878310</guid><author>Mathieu66</author><pubDate>Sat, 04 Feb 2023 03:07:26 +0800</pubDate><description><![CDATA[Web3j客户端获取区块链数据示例]]></description><category></category></item><item><title><![CDATA[解析 ETH 区块数据交易input]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/128878301</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/128878301</guid><author>Mathieu66</author><pubDate>Sat, 04 Feb 2023 03:02:30 +0800</pubDate><description><![CDATA[解析 ETH 区块数据交易input的示例]]></description><category></category></item><item><title><![CDATA[在控制台从指定时间戳消费kafka]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/127390701</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/127390701</guid><author>Mathieu66</author><pubDate>Tue, 18 Oct 2022 16:10:35 +0800</pubDate><description><![CDATA[在控制台从指定时间戳消费kafka]]></description><category></category></item><item><title><![CDATA[Confluent 源码学习 - SinkTask]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/120530019</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/120530019</guid><author>Mathieu66</author><pubDate>Tue, 28 Sep 2021 15:57:54 +0800</pubDate><description><![CDATA[SinkTask 的源码实际位于Kafka项目中，主要用在 Kafka Connect 模块，它是一个接收 Kafka 数据，输出到外部系统的 Task 抽象类。其父类 Task 是个接口，只有三个方法：


public interface Task {
    /**
     * Get the version of this task. Usually this should be the same as the corresponding {@link Connector} class's ver]]></description><category></category></item><item><title><![CDATA[Flink 动态读取Nacos配置]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/118107900</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/118107900</guid><author>Mathieu66</author><pubDate>Tue, 22 Jun 2021 15:23:46 +0800</pubDate><description><![CDATA[1.需求：实时读取Nacos的配置，打印在控制台
2.额外的依赖：
    &lt;dependency&gt;
      &lt;groupId&gt;com.alibaba.nacos&lt;/groupId&gt;
      &lt;artifactId&gt;nacos-client&lt;/artifactId&gt;
      &lt;version&gt;1.4.2&lt;/version&gt;
    &lt;/dependency&gt;


代码
很简单,就直接贴了

packa]]></description><category></category></item><item><title><![CDATA[MacOS DBeaver连接达梦]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/116131286</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/116131286</guid><author>Mathieu66</author><pubDate>Sun, 25 Apr 2021 16:22:56 +0800</pubDate><description><![CDATA[1. 需求的由来

项目上需要使用达梦数据库，而 Dbeaver 没有提供 达梦的驱动支持（Windows 系统可以用过 ODBC 配置，而Mac 版本 DBeaver不再支持 ODBC），经过一番思考，调研，发现 DBeaver 支持自定义驱动，于是我们可以自定义一个达梦驱动，达到我们的目的。

2.连接准备

达梦驱动包，我这边是 : dm.jdbc.driver.dm7-7.1.5.jar, 在/Users/wangxianghu/nari/drivers 路径下。

3. 配置达梦驱动

打开 D.]]></description><category></category></item><item><title><![CDATA[Hudi回调功能简介及使用示例]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/111685200</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/111685200</guid><author>Mathieu66</author><pubDate>Fri, 25 Dec 2020 15:47:16 +0800</pubDate><description><![CDATA[Hudi回调功能简介及使用示例
1. 功能简介
从0.6.0版本开始，Hudi开始支持 commit 回调功能。每当Hudi成功提交一次 commit, 其内部的回调服务就会向外部系统发出一条回调信息。用户可以根据该回调信息查询hudi表的增量数据，并根据具体需求进行相应的业务处理。
1.1 支持的回调方式
当前 HoodieDeltaStreamer 可用过 HTTP（默认） 和 Kafka 两种方式向外部发送回调信息，而 SparkDataSource 只支持 HTTP 一种。两种数据摄入方式在使用回调]]></description><category></category></item><item><title><![CDATA[DataLake（翻译） - Martin Fowler 2015.02.05]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/108083344</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/108083344</guid><author>Mathieu66</author><pubDate>Tue, 18 Aug 2020 17:52:59 +0800</pubDate><description><![CDATA[原文地址：

https://martinfowler.com/bliki/DataLake.html

译文如下：

Data Lake 是近十年出现的一个术语，用于描述大数据世界中数据根系管道的重要组成部分。其主题思想是为一个组织中任何人可能需要分析的所有原始数据提供一个存储。通常，人们使用Hadoop来处理湖中的数据，但这个概念不局限于Hadoop。

当我听到要将要分析的所有数据汇总到一起时，我立即想到了数据仓库（和数据集市）。但是，数据湖和数据仓库之间存在重大区别。数据湖以数据源提供的任何形式存储]]></description><category></category></item><item><title><![CDATA[maven shade plugin: Invalid signature file digest for Manifest main attributes]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/108006455</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/108006455</guid><author>Mathieu66</author><pubDate>Fri, 14 Aug 2020 15:57:23 +0800</pubDate><description><![CDATA[使用maven shade 插件打包时报这个错

Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes

在plugin配置下添加即可解决


        &lt;configuration&gt;
          &lt;filters&gt;
            &lt;filter&gt;
             ]]></description><category></category></item><item><title><![CDATA[yarn聚合日志（转载）]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/107834094</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/107834094</guid><author>Mathieu66</author><pubDate>Thu, 06 Aug 2020 10:47:39 +0800</pubDate><description><![CDATA[https://www.cnblogs.com/lemonu/p/12956741.html
]]></description><category></category></item><item><title><![CDATA[生态 | Apache Hudi集成Apache Zeppelin（转载）]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/105834773</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/105834773</guid><author>Mathieu66</author><pubDate>Wed, 29 Apr 2020 10:56:05 +0800</pubDate><description><![CDATA[https://mp.weixin.qq.com/s/_mNwL5uXSDYyqtLDPx0iDA
]]></description><category></category></item><item><title><![CDATA[Flink集成Apollo获取配置V2]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/105816956</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/105816956</guid><author>Mathieu66</author><pubDate>Tue, 28 Apr 2020 16:30:41 +0800</pubDate><description><![CDATA[上一篇介绍了使用基础Java客户端接入Apollo的示例,有同学反映在分布式环境下获取不到Apollo配置，只能在main方法中初始化使用,姿势不够优雅。

这里将Apollo的Java客户端将Flink官方推荐的ParameterTool结合使用，以解决该问题。


package org.example;

import com.ctrip.framework.apollo.ConfigFil...]]></description><category></category></item><item><title><![CDATA[使用Apache Avro序列化、反序列化数据]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/105602307</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/105602307</guid><author>Mathieu66</author><pubDate>Sat, 18 Apr 2020 19:25:43 +0800</pubDate><description><![CDATA[本文介绍如何使用avro序列化，反序列数据。Avro的简介请参阅：https://blog.youkuaiyun.com/Mathieu66/article/details/105601509

我们知道使用Avro序列化、反序列化数据时需要使用数据的schema（schema是对数据结构的描述）。如何根据schema生成成java类，官网提供了两种方式：

1）使用avro提供的工具包手动生成（这与使用Pr...]]></description><category></category></item><item><title><![CDATA[Apache Avro简介]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/105601509</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/105601509</guid><author>Mathieu66</author><pubDate>Sat, 18 Apr 2020 17:45:31 +0800</pubDate><description><![CDATA[目录

介绍

Schema

与其他系统的比较

本文翻译自：http://avro.apache.org/docs/current/index.html

更多信息请查阅：http://avro.apache.org/docs/current/index.html

介绍

Apache Avro™是一个数据序列化系统:

Avro提供：

丰富的数据结构。
	一种紧凑，快速的二进制数据格式。...]]></description><category></category></item><item><title><![CDATA[HBase建表报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/105520116</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/105520116</guid><author>Mathieu66</author><pubDate>Tue, 14 Apr 2020 20:21:17 +0800</pubDate><description><![CDATA[转载自：https://blog.youkuaiyun.com/RONE321/article/details/99940862?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1&amp;utm_source=distribute.pc_relevant.none-task-bl...]]></description><category></category></item><item><title><![CDATA[数据湖 | Apache Hudi 设计与架构最强解读]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/105465745</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/105465745</guid><author>Mathieu66</author><pubDate>Tue, 14 Apr 2020 18:29:20 +0800</pubDate><description><![CDATA[本文将介绍Apache Hudi的基本概念、设计以及总体基础架构。

1. 简介

Apache Hudi(简称：Hudi)允许您在现有的hadoop兼容存储之上存储大量数据，同时提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。

这两种原语分别是:

Update/Delete记录：Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录，同时还提供写操作的...]]></description><category></category></item><item><title><![CDATA[Flink集成Apollo实现获取配置信息]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/105314462</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/105314462</guid><author>Mathieu66</author><pubDate>Sat, 04 Apr 2020 18:49:01 +0800</pubDate><description><![CDATA[Apollo GitHub地址（除了代码，都是中文）：https://github.com/ctripcorp/apollo

Java客户端使用指南：https://github.com/ctripcorp/apollo/wiki/Java%E5%AE%A2%E6%88%B7%E7%AB%AF%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97

  开始之前多说两句，这...]]></description><category></category></item><item><title><![CDATA[Mac安装MySQL(转载)]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/105310383</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/105310383</guid><author>Mathieu66</author><pubDate>Sat, 04 Apr 2020 14:49:47 +0800</pubDate><description><![CDATA[https://www.cnblogs.com/nickchen121/p/11145123.html
]]></description><category></category></item><item><title><![CDATA[ERROR 1819 (HY000): Your password does not satisfy the current policy requirements]]></title><link>https://blog.youkuaiyun.com/Mathieu66/article/details/105291730</link><guid>https://blog.youkuaiyun.com/Mathieu66/article/details/105291730</guid><author>Mathieu66</author><pubDate>Fri, 03 Apr 2020 14:00:56 +0800</pubDate><description><![CDATA[原因：秘密过于简单。


grep 'temporary password' /var/log/mysqld.log

解决办法：降低密码检查策略

先用初始密码登录。

1. 设置密码的验证强度等级为low。


set global validate_password_policy=LOW;

2.默认密码长度要求为8，可以修改也可以不改。我这边改成6


set global validat...]]></description><category></category></item></channel></rss>