- 博客(3)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 Flink学习日记(一)
单并行Source与多并行Source区别简单对比一下fromCollection、fromParallelCollection、socketTextStream.这3个source的区别.当我们在创建Flink的执行环境的时候,它就会获取我们当前机器的一个默认并行度.就在StreamExecutionEnvironment中会有一个Java方法./** The default parallelism used when creating a local environment. */privat
2021-09-13 19:41:18
350
原创 求用户连续购买天数以及与上次购买间隔天数
SQL-求某用户连续购买以及与上次购买间隔Step 1:对数据进行聚合/去重Step 2:对用户进行分组排序Step 3:日期与序号进行减法运算Step 4:获取开始连续的日期以及连续天数Step 5:使用Hive中lead函数Step 1:对数据进行聚合/去重 根据需求不同,可能的名称也不尽相同,主要是理解思想.第一步是对数据按天进行初步聚合(因为一个用户可能在某天有多次购买行为)因为只是作为演示,所以只用单个用户进行select member_id,order_date from TABLE
2021-08-07 20:14:49
1354
原创 记一次恢复缓存中的应用程序数据过程
记一次恢复应用程序数据过程Jvm -dumpMemory Analyzer 插件插件安装一次同事操作Mysql数据库进行数据迁移的时候,误把测试库的数据覆盖了生产库.并且该库并没有开启binlog…数据基本上无法恢复…因为该数据库存储的是系统数据.如果无法恢复程序将无法使用.虽然可以从硬件层面进行恢复,但是受限于技术水平不够…所以这条路也走不通…好在,虽然数据库数据已经被清空,但是线上程序是会把数据库中的数据缓存起来的…所以严格意义上来说,还有一份数据是存放在Jvm缓存中的…如何查看和恢复缓存
2021-06-22 17:52:13
297
空空如也
请教hive自定义UDAF函数
2024-04-12
请教关于如何通过预计算来减少相似度的计算量
2023-07-18
Flink-SQL-Client查询报:java.lang.IllegalArgumentException:Checkpoint is not supported for batch jobs.
2021-12-30
写Flink入门WordCount报程序包找不到
2020-08-02
SparkStreaming使用spark-sql进行维表关联时Checkpoint问题
2021-07-15
Hive如何实现跨行两两分组相加?
2021-03-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人