- 博客(23)
- 收藏
- 关注
RSS订阅原创 flink使用StatementSet降低资源浪费
项目中有很多ods层（mysql 通过cannal）kafka，需要对这些ods kakfa做一些etl操作后写入下一层的kafka（dwd层）。当有多个ods->dwd操作放在同一个flink作业中时，发现这种方式会导致每次insert操作都是单独的DAG,非常消耗资源，特别是这些处理都是比较轻量级的，最好是能融合在同一个DAG中共享资源。
2024-06-27 10:04:35
728
原创 spark的shuffle hash join对Full Outer Join的支持
spark的shuffle hash join对Full Outer Join的支持历史，以及为什么之前不支持，现在又是怎么支持的
2024-03-28 10:00:00
1236
原创 flink的MaxOutOfOrderness 和 Allowedlateness 区别
MaxOutOfOrderness 和 Allowedlateness 都是为了对乱序数据进行处理，但是经常会混淆着两个概念，需要进行一些区分。
2024-03-24 21:14:14
1042
原创 flink的regular join/window join/interval join/temporal join/lookup join
flink的regular join/window join/interval join/temporal join/lookup join对比
2024-03-18 10:00:00
1673
原创 flink的分组聚合、over聚合、窗口聚合对比
对比flink的分组聚合group_agg/over聚合over_agg/窗口聚合window_agg
2024-03-11 16:51:20
1506
3
原创 从spark streaming与structured streaming看spark core与spark sql的区别
Spark中针对流式数据处理的方案有：SparkStreamingStructuredStreaming本文通过对比spark streaming与structured streaming，来深入理解spark core与spark sql的区别。
2024-03-07 10:15:00
1004
3
原创 flink的分界线对齐和水印对齐
flink的分界线对齐和水印对齐是两个不同的概念，需要加以区分。另外还会介绍下flink 1.14提出的缓冲区消胀功能
2024-03-01 10:45:00
1450
1
原创 总结的四种二叉树遍历算法（递归和非递归）
四种遍历树的算：前序、中序、后序、层次遍历（正向，反向，Z字形遍历）遍历二叉树算法基本操作是访问结点，不论按哪一种次序进行遍历，对含n个结点的二叉树时间复杂度都为O(n)。前序遍历：递归方式： void preorder_recursive(Bitree T) /*先序遍历二叉树的递归算法 */
2016-09-29 12:04:44
759
原创 leetcode 102 Binary Tree Level Order Traversal
leetcode 102 Binary Tree Level Order Traversalhttps://leetcode.com/problems/binary-tree-level-order-traversal/Given a binary tree, return the level order traversal of its nodes' values.
2016-09-28 11:06:27
475
1
转载 Android应用的耗电量统计
一， 前言Android应用的耗电量， 一直是大家比较关心的问题。普通用户，一般通过“设置”中的“电池”来看排名前10的应用，或者凭借手机续航时间的变化来粗略估计；专业的测试人员，一般采用电流表读取整部手机的电流，再将应用运行时的电流和手机空跑时的电流对比。这些方法都存在较为严重的问题：l “设置”中的“电池”选项，只是一种排名，缺少具体的耗电量数据。如果应用耗电量较小，甚至不会展
2016-09-25 21:17:57
1137
原创 qq手机管家的一些想法
今天腾讯校招面试，面试官是qq手机管家的，问了一些qq手机管家的问题，当时没有准备，所以觉得答得不好，回来整理了一下。1.qq手机管家的功能与竞品（360手机助手、百度手机卫士等）的共同点：垃圾清理、杀毒、流量监控、骚扰拦截等特色功能：微信垃圾清理（可以清理无用的图片，包括公众号的广告图片、多余缩略图，这次测试共有19M），免费wifi管家（面试官提到的，但是没听过，测试发
2016-09-25 20:42:52
1000
原创 卡特兰数总结
最近在做腾讯笔试题的时候，碰到一个排列问题：找工作的季节马上就到了，很多同学去图书馆借阅《面试宝典》这本书，现在图书馆外有6名同学排队，其中3名同学要将手中的《面试宝典》还至图 书馆，有3名同学希望从图书馆中可以借到《面试宝典》，若当前图书馆内已无库存《面试宝典》，要保证借书的3名同学可以借到书，请问这6位同学有多少种排 队方式（）A）60B）120C）180D）360
2016-04-03 01:24:04
473
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人