hanyi_的专栏

玩转SpringBoot，像搭积木一样简单。在业务系统升级时，数据迁移是必不可少的一环。数据迁移又分离线和在线的方式，即存量数据和增量数据在平滑升级中融合。常用的DB数据迁移方式也有很多，文件拷贝、mysqldump、主从同步、canal、DataX、愚公、DTS等等，但这些方式往往是以镜像方式迁移，虽然有些工具支持数据类型或者字段名称转换，但支持不了复杂的转换，例如json转换等。本文将介绍如何封装支持复杂类型的数据迁移工具。...

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、容器模式四、小结 前言 玩转SpringBoot，像搭积木一样简单。在实际数据加工处理的业务中，整体数据链路比较长。下游加工逻辑在频繁迭代的时候，往往需要把客户接入的请求进行数据重放，来达到灰度升级的目的。那怎样快速把客户接入的数据重放给下游链路呢？ 一、本文要点 前面的文章，介绍了基于Jolt如何实现业务型的ETL工具，本文将介绍这款工具的实际应用场景，如何快速将DB数据快速重放到kafka。系列文章完整目录 JSON

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、容器模式四、小结 前言 玩转SpringBoot，像搭积木一样简单。消费kafka消息，然后把数据存储到DB，这是一个很典型的业务了，相信每个小伙伴们都有类似的需求。遇到这类需求，大部分的做法都是从零开始搭建一个消费工程。这样的重复劳作无疑是非常的繁琐的，但如果我们只是仅仅把kafka消息转换成另外一个格式存储到DB，有没有通用的架构呢？ 一、本文要点 前面的文章，介绍了基于Jolt如何实现业务型的ETL工具，本文将介绍这款

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、容器模式四、JOLT实现数据转换五、总体设计六、小结 前言 将kafka消息转存到es，提供业务方检索，这是一种很常见的业务场景。例如数据检索、日志ELK等等。但假如kafka的消息结构和es的数据结构相差比较大，怎样办呢？硬编码去做字段映射？本文介绍一个便捷的方式，15分钟实现kafka消息转存es。 一、本文要点 前面的文章，介绍了基于Jolt如何实现业务型的ETL工具，本文将介绍这款工具的实际应用场景，如何快速将kafk

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、Jolt 是什么？四、JOLT实现数据转换五、总体设计六、小结 前言 随着需求演进迭代，经常需要把上游进来的一份数据，按照不同数据格式（字段打平、名称修改、类型转换、结构调整、数据过滤）转存或者分发到各应用。而在其中，我们耗费了不少的人力在json to json和sink to where的编码上。 一、本文要点 前面的文章，介绍了Docker搭建各种环境、SpringBoot整合各种中间件、如何把应用部署到云容器，本文开始

系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、创建项目四、修改项目五、测试一下六、小结 前言 面试官总喜欢问：你写过SpringBoot Starter吗？ 自己动手写一个SpringBoot，难吗？真的不难，网上随便一搜，各种教程文章一大堆。 那为什么面试官还是喜欢问呢？ 其实我们可以换位思考一下，候选人工作好些年了，早已经度过了复制粘贴，到复制改写年龄，应当具备封装能力，甚至定制能力。假设你没有任何亮点，这么多CRUD工程师，我为什么要选你呢？ 这里不详细讲Spring