- 博客(27)
- 收藏
- 关注
RSS订阅原创 知乎热议：为什么国内程序员不喜欢写单元测试？
如果我的回答对你有启发，，捧个人场，就是对我最大的鼓励和支持！！！没赞，我更新动力不足啊~~欢迎关注我的公粽号【雷克分析】，更多最新内容和干货，第一时间收到。我整理了很多学习资料，私信“命令、提效、数据库、calcite、提示词”等相应关键字，即可获取对应的学习资料。
2024-03-11 23:30:17
467
原创 Hadoop 和大数据的关系是什么？和 Spark的关系是什么？
最近在知乎上面看到这样一个问题：Hadoop 和大数据的关系？和 Spark 的关系？刚好我个人是大数据引擎开发，所以对于 Hadoop 也算比较了解，所以今天我就来分享一下我的看法。
2024-03-10 11:09:33
980
原创 数据库中 SQL Hint 是什么？
最近在调研业界其他数据库中 SQL Hint 功能的设计和实现，整体上对 Oracle、Mysql、Postgresql、 Apache Calcite 中的 SQL Hint 的设计和功能都进行了解，这里整理一篇文章来对其进行梳理，一是帮助自己未来回顾，加深自己的思考，二是也能帮助大家更好的了解数据库 SQL Hint 的实现原理。
2024-03-09 16:25:58
1669
原创 Apache Calcite 一条 SQL 的查询计划生成之旅【下】
Apache Calcite 作为一款成熟的开源项目，已经在众多的 Apache 和商业项目中进行使用（下图是使用了Calcite 的项目）:与此同时，大量商业产品也在使用 Calcite，广泛的应用也验证了 Calcite 项目自身的成熟性。使用 Calcite 能够降低开发 SQL Base 的项目复杂度，在 SQL 层，我们无需重复对 SQL 解析、元数据验证、RBO 和 CBO 等底层框架造轮子，大大地提高了开发效率。更多精彩内容，欢迎关注我的。
2024-03-01 16:20:33
1342
原创 Apache Calcite 一条 SQL 的查询计划生成之旅【上】
SQL 查询优化器的用途SQL 作为一种声明式的查询语言，能够让很多技术以及非技术人员快速入门和掌握，用户能够使用 SQL 快速完成业务层的查询语义逻辑的编写。但单纯的 SQL 语言，是无法直接让底层的计算引擎识别和运行的。当 SQL 查询请求发送到底层数据库时，需要将 SQL 查询语句转换为底层数据库的计算引擎能够识别的模型约定定义（比如执行计划描述），最终让底层计算引擎按照预定的计算逻辑执行并返回结果。
2024-03-01 16:10:44
1408
原创 我是如何参与 Apache Calcite 社区并成为 Committer 的
参与社区，重要的是能够持续的参与，这样你才能够让其他社区同学对你有影响，然后慢慢的记住你，社区的 PMC 其实也会关注每天在社区活跃的同学，对于在社区活跃的同学，如果贡献够了，PMC 也会帮你进行 Commiter 的提名。个人一个好的经验就是：你可以想一想自己平时工作中，接触到的和使用最多的开源项目是什么，结合工作以及实践，参与进来，在了解原理的同时，既能够帮助你更好的解决业务侧的问题，同时你平时遇到的业务侧问题和解决思路时，也可以贡献给社区，这是一个正向循环的过程。
2024-02-25 20:29:23
1312
1
原创 Apache Flink Semi / Anti Join 实现原理总结
最近再调研业界一些计算引擎的 Semi / Anti Join 的实现方式，刚好对 Flink Semi / Anti Join 的实现方式进行了研究，通过对 Flink SemiAntiJoinTest 的单测以及源码的 Debug，目前整体对 Flink 实现 Semi / Anti Join 的原理有一定理解，所以这里整体做一个总结，同时也帮助大家对于 Flink 有个更好的理解。
2024-02-25 20:24:47
926
原创 Apache Flink 实时计算-深入理解 Checkpoint和Savepoint
本文没有过多的讲述源码，考虑大家的都能够读懂，其语言竟可能通俗一一点。如果有需要改进的地方，希望大家能够指出。后续我会不断的和大家一起大数据相关的技术，和大家一起交流学习。
2024-02-25 20:07:59
1397
原创 2024，程序员赚钱的 8 种方式送给你（上）
最近家里宝宝出生了，第一次当爸爸，说实话，内心既有喜悦，又有压力，身上的担子也更加重了一些。刚好自己趁着这段时间放陪产假，研究和思考了一下咱们程序员除了主业之外，到底还有哪些赚钱的方式。这样做的目的有两个，一是看看能不能为家里多一条资金来源输入，多赚点钱，二也是为了提前应对程序员 35 岁的危机，虽然每个程序员都不想讨论程序员 35 岁的职场危机，但这个问题也是每个程序员都必须遇到的，晚面对不如早面对。欢迎关注我的公众号【雷克分析】，更多最新内容和干货，第一时间收到。！！
2024-02-24 09:30:00
1162
原创 2024，我建议每一个人都要布局这个行业
24 年，我建议每一个人都要关注 AI（人工智能）这个行业领域，无论是国内还是国外的投资机会，都要提前布局进去。
2024-02-23 11:55:34
909
原创 个人实践总结 -- IDEA 优秀开发提效插件推荐
最近在研究 IDEA 上能够提效的插件，通过我个人的验证，下面的一些插件的确能够提升我的个人开发效率，所以这里推荐给大家，如果你有其他好的提效的插件，也欢迎能够告诉我。
2022-11-09 20:20:13
3703
原创 为什么虚函数调用和分支预测失败会影响计算性能？
前言我们经常会听到分支预测失败或者虚函数调用会影响计算性能，那么为什么它们会影响性能呢？带着这个疑问，我最近也看了一些博客和论文，这里结合之前看的一些点，整体做一个总结，和大家一起学习。本文从 CPU 计算流程、虚函数、流水线执行 && 分支预测这些方面进行介绍，最后总体回答上面的问题，若理解有误，欢迎一起交流。CPU 计算流程简介一个应用程序底层最终执行，都是要转换为机器指令进行运行。而 CPU 的核心就是从内存中获取指令并执行计算，CPU 指令计算流程一般分为五步：取指令（I
2021-12-04 14:11:45
810
原创 ClickHouse 入门：数据查询流程解析
前言ClickHouse 是一款 ROLAP 列式数据库，在海量数据分析场景中，能够帮助我们快速得到想要的 “分析性” 数据。本文主要从个人视角讲解 ClickHouse 一次数据查询的整体流程，更多的是自己的一些理解和思考，如有不对，欢迎指出和交流。一、ClickHouse 数据组织形式1.1 ClickHouse 集群、分片、副本含义一个 ClickHouse 集群是通过分片组成。ClickHouse 分片可以由一台或者多台机器构成，当多台机器组成一个分片时，其中一个节点为主副本节点，其余则为
2021-03-25 20:29:25
2147
1
原创 Flink SQL 内置优化参数功能以及适用场景介绍
前言这几天在看 Flink SQL 内置优化参数的功能和原理，虽然网上会有一些文章介绍，这里还是自己做一个整体的总结和思考，方便自己以后的回顾。Flink SQL 内置的优化参数是 Blink Planner 里面的功能，也就是 1.9 以后 Blink Planner 自带功能，从 Flink 1.11 开始，Blink Planner 已经成为 Flink 默认的 Planner，目前聚合优化参数是针对无界流非窗口类聚合，窗口类聚合优化参数未来会进行支持。下面开始讲解一下 Flink SQL 优化参
2021-03-10 17:41:50
851
原创 Flink 1.10 升级 Flink 1.12 预期收益评估
前言Flink 1.12 版本在 20 年 12 月已经正式 Release，目前我们的 Flink SQL 作业的 Flink 引擎版本还是 1.10，本文主要用以评估 Flink 1.10 升级到 1.12 整体所能带来的预期收益，同时结合所需投入的成本，决定是否需要升级 Flink SQL 引擎版本到 1.12。本次升级所评估的收益包含 1.11 和 1.12 版本所带来的收益，如有理解错误，欢迎指出，一起交流。一、Flink SQL 作业语法更加简洁，提升实时作业开发效率收益：FLIP-12
2021-02-01 19:30:08
829
原创 Apache Calcite && Flink 开源社区分享和贡献总结
社区分享Flink 在有赞的实践和应用 --2020.12 月 Flink Forward Asia 分享Apache Flink SQL 在有赞的实践和应用 - 2020.9月云栖大会线下百城汇分享-杭州站Flink SQL 在有赞的实践应用 – 2020.05.16 Flink Meetup 分享Flink 文章分享1.有赞 Flink 实时任务资源优化探索与实践2. Flink Checkpoint 原理流程以及常见失败原因分析3. Flink Weekly | 每周社区动态更新-
2021-01-18 22:36:56
444
1
原创 有赞 Flink 实时任务资源优化探索与实践
背景随着 Flink k8s 化以及实时集群迁移完成，有赞越来越多的 Flink 实时任务运行在 K8s 集群上，Flink k8s 化提升了实时集群在大促时弹性扩缩容能力，更好的降低大促期间机器扩缩容的成本。同时，由于 K8s 在公司内部有专门的团队进行维护，Flink k8s 化也能够更好的减低公司的运维成本。不过当前 Flink k8s 任务资源是用户在实时平台端进行配置，用户本身对于实时任务具体配置多少资源经验较少，所以存在用户资源配置较多，但实际使用不到的情形。比如一个 Flink 任务实际上
2021-01-18 19:09:06
493
原创 Flink Forward Asia 2020 的收获和总结
前言Flink Forward Asia 2020 三天的分享结束了，在这次分享上，自己也收获了很多。这里写一篇文章来记录下自己这次的收获和总结，从个人的视角和理解，和大家一起分享下，当然，如果有理解错误的地方，也欢迎大家指出。1. Apache Flink 已经实时计算事实标准我相信很多公司实时计算的发展都是从 Strom 到 Spark Streaming ，然后再到 Flink 这样一个发展的历程。从引擎本身来讲，Flink 支持更低的实时计算时延，以及对于任务状态的支持。目前从国内各大公司使用
2020-12-22 12:20:13
446
1
原创 Flink 实时计算 - SQL 任务用户自定义 Jar 使用
我是Lake，专注大数据技术、程序员经验、互联网科技见解分享，如果你觉得这篇文章对你有帮助的话，欢迎你点赞转发或者关注我，你的一个小小的鼓励，就是我前进的最大动力。最近在做 Flink SQL 任务方面的开发，有这样一种情况，用户自己上传自定义的 UDF Jar 包，这里你可以理解为是用户自己定义的函数 Jar 包，然后在写的 Flink SQL 任务的时候，需要能够用到 Jar 包中定义的...
2020-03-09 14:24:33
1238
原创 Flink Checkpoint 原理流程以及常见失败原因分析
前言目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致，本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 F...
2020-03-09 14:07:19
4084
原创 Flink 1.9 — SQL 创建 Kafka 数据源
前言目前 Flink 1.9 SQL 支持用户直接使用 SQL 语句创建 Kafka 数据源，这极大的方便了用户开发 Flink 实时任务，你可以像 Hive 一样，使用 Create Table 语句来创建 Kafka Source，同时在也可以使用 Select 语句，从这个表中读取数据，进行窗口、ETL等操作。本文主要讲解 Flink 1.9 SQL 创建 Kafka 的 SQL 语法使用...
2020-01-07 19:41:01
1492
原创 运行 Flink 出现：Output path is shared between the same module error
今天本来想运行 Flink 里面的一个类，结果发现报错：Output path is shared between the same module error，也就是出现了很多 test 模块输出都到了同个目录，之前还运行好好的，结果今天运行就不行，于是在网上搜索了一些方法解决了，这里记录一下。第一步，右键 Flink 项目，选择 Synchronize第二步，右键选择 Maven,然后选择...
2020-01-06 19:13:00
998
原创 Flink 实时计算 -- 1.9 SQL使用注意点
前言Flink 1.9 版本开源了很多 Blink 方面的功能，尤其是在 SQL 方面，这使得我们在开发 Flink 实时任务变得更加方便。目前 Blink SQL 支持了 Create Table 功能，以及维表的功能。我们的实时任务整体流程为，读取Kafka的数据，然后去关联 HBase 维表的数据，最后在输出到 Kafka 中，虽然整体流程跑通，但是其中也遇到了很多坑，这里记录一下，和大家...
2020-01-02 20:04:17
3319
3
原创 Flink 1.9 实时计算 - SQL 维表 Join 的实现
前言Flink 1.9 版本可以说是一个具有里程碑意义的版本，其内部合入了很多 Blink Table/SQL 方面的功能，同时也开始增强 Flink 在批处理方面的能力，真的是向批流统一的终极方向开始前进。Flink 1.9 版本在 8.22 号也终于发布了。本文主要介绍学习 Flink SQL 维表 Join，维表 Join 对于SQL 任务来说，一般是一个很正常的功能，本文给出代码层面的实...
2020-01-02 12:19:01
1429
2
原创 Flink 1.9 特性学习和Blink SQL Parser 功能使用
前言本文对 Flink 1.9版本特性进行了解读(基于社区邮件组讨论)，同时对Blink 开源版本 flink-sql-parser 模块进行学习了解，和大家一起交流分享。1. Flink 1.9 特性在6.28号 Flink 1.9功能已经Freeze掉，结合之前在社区邮件组讨论的1.9新特性，以及6.29号北京 Flink Meetup视频直播解读，整体而言，Flink 1.9特性我认为...
2019-06-30 23:35:47
1950
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人