chenzuoli的博客

没事写写，记录一下曾经的工作，新版airflow的搭建

我是Lee，一枚数据开发，不定期更新一下博客，今天说下postgresql创建存储过程procedure的语法

说下最近工作中遇到的一些大的问题及解决方案。

什么是数据湖？什么是数据仓库？

大数据，我们现在应该听的很多，那么应该掌握哪些知识才算入门了大数据呢？如何去学习它呢？

flink-sql join hive维表问题，来看看

Flink cdc1.x和2.x区别太大了，如果能升级最好了，不能升级，那么我们怎么避免1.x给我们带来的问题呢？下面结合我在公司生产的实践，给大家说说。

标题: airflow的check机制介绍日期: 2021-12-18 11:26:14标签: [airflow,check]分类: 调度系统我们使用airflow的其中一个原因，就是管理任务流，及任务流之间的依赖关系。传统的任务调度，大概就是通过linux自带的crontab方式进行任务的定时调度，那么如果crontab任务过多，crontab表达式是按照顺序执行的，那么怎么完成复杂的依赖问题呢。airflow就可以解决复杂的依赖问题，任务流之间如何串行、并行执行，只需定义一个cront.

标题: Flink-cdc所带来的问题日期: 2021-11-28 22:45:09标签: [flink,flink-cdc]分类: Flink今天说下flink-cdc吧，最近工作中遇到了一个比较棘手的问题。我们都知道flink对比其他流计算引擎，其中一个优势就是cdc，它能够作为各个数据源的source和sink，实时接入和实时推送数据，为我们解决了实时接入和推送的问题。工作中用到了flink mysql-cdc，实时导入mysql数据的增删改，你需要做的就是简单配置一个sql，即可搞.

标题: flink-connector中kafka和upsertkafka的介绍日期: 2021-08-03 16:46:43标签: [flink, kafka, upsert kafka, 实时数仓]分类: 数据仓库今天来说下flink sql中常用到的connector：kafka，它承接了实时的消息数据，进行处理，当然，这些消息的特点有可能不一样，怎样处理，得到实时的结果，提供给分析、运营、营销等等。下面来看看具体有什么区别，怎么使用。kafka中的实时消息，它也可以是关系型数据库的c.

标题: ‘说说Flink的连接器connector有哪些,怎么用?’日期: 2021-07-31 10:26:51标签: [flink,connector]分类: 数据仓库flink作为一个计算引擎，是缺少存储介质的，那么数据从哪儿来，到哪儿去，就需要连接器了，链接各种类型数据库，各种类型组件进行数据的抽取、计算、存储等，下面来看看flink都有哪些connector，怎么使用的？介绍看看目前支持的connector：这是官方给出的：有些支持数据源，有些不支持数据源，有些支持无边界流.

标题: 说说数据那些事日期: 2021-07-28 22:53:38标签: [数据仓库,数据]分类: 数据今天来说说我做数据这些年的一些感悟和体会，希望能够讲的通俗易懂，化繁为简，给刚入门的小伙伴一些帮助。数据，是当今世界很重要也很值钱的东西，从哪里来，怎么处理，到哪里去，这是要弄清楚的最基本路线图，本文分着3个部分来分别讲解。从哪里来数据从哪里来的呢，从业务系统（网站浏览、点赞、评论等交互数据）、app、小程序、邮件系统等等系统产生，存储在关系型或菲关系新数据库中，或者直接落地磁盘，.

Flink实时数仓第一篇数据接入欢迎来到实时数仓1.为什么选择Hbase中转，而不是直接入Hive？2.oracle接入为什么这么复杂？3.不支持的cdc数据源怎么办？欢迎来到实时数仓最近在做实时数仓相关工作，了解到一些皮毛，但是大致方向还是对的，目前有一些眉目和进展，就跟大家讲讲。今天讲讲实时数据接入吧，怎么将数据实时接入到数据湖或者数据仓库。来看看流程图：1.为什么选择Hbase中转，而不是直接入Hive？因为Hive不支持更新操作，Hbase可以，当然ES也可以作为中转组件2.orac