
大数据
文章平均质量分 83
Karisn
这个作者很懒,什么都没留下…
展开
-
Hive SQL 查询时间
source:Hive 日期时间操作_TriumPhSK的博客-优快云博客_hive 时间(1)获取日期(2)获取带时间的日期(3)获取某一日期前后几天的日期(4) 获取当前年月日周(5)时间戳转日期格式(6)原创 2022-06-24 15:39:53 · 3807 阅读 · 0 评论 -
Hudi
目录HudiHudi 的前世今生:1.1.1 什么是Apache Hudi1.1.2 Hudi 支持的文件格式1.1.3 表格式1.1.2使用Hudi的优点1.1.3 Hoodie 的基本概念梳理1.1.4Hudi的设计动机1.1.5Hudi可以避免小文件问题1.1.6 Hudi 典型应用场景 --- 近实时摄取 / 分析、增量处理管道、DFS上数据分发2. Hive和Presto与hudi的集成2.1 hive2.2 Presto3...原创 2022-01-30 15:08:42 · 4529 阅读 · 0 评论 -
Kafka 相关
Kafka定义规则,检测是否满足规则,并且做出这个规则里所做的动作。【规则的计算和匹配性,一切皆动态规则】使用场景:实时推荐、实时风控、实时精准广告推送。 [实时推荐] 冷用户访问 --> 给优惠券; [实时推荐] 只看不买 --> 促单; [实时推荐] 生成订单后未支付,给发短信。 [实时风控] 某IP近1小时内注册账号超过10个; 某账号群体近1h内购买优惠券商品超过100件... 1. kafka 的工作原理:source :Kafk..原创 2022-01-30 14:52:58 · 2730 阅读 · 0 评论 -
数据结构概述
数据结构演示网页:Data Structure Visualization二叉树:[单路 - 不在乎高度差 ]xn’sum:直接往里插,不用在乎两侧的高度。傻傻的往里插就行嘞。【傻插】1、每个节点最多有两颗子树(树分支)2、左子树和右子树是有顺序的,同层级相邻节点,右边的值比左边大。3、即使某节点只有一颗子树,也要区分左右子树。在所有的树结构中,基本上都遵循左小右大的原则,最上层节点称之为跟节点,最下面的节点称之为叶子节点,也叫叶节点,中间的节点称之为枝节点。平衡二叉树原创 2022-01-30 14:50:28 · 975 阅读 · 0 评论 -
Presto 下载安装部署
1.1 Presto 是什么Presto(或 PrestoDB)是一种开源的分布式 SQL 查询引擎,设计之初用于对任何规模的数据进行快速分析查询。支持关系型数据【Mysql、PostgreSQL等】及非关系型数据库【Hadoop分布式文件系统(HDFS)、HBase、MongoDB等】。Presto的一大优点是:Presto 设计采用了存储抽象化思想,构建可插入的连接器,可在数据的存储位置查询数据,无需将数据移动到独立的分析系统。且所有的查询执行处理都在内存中进行,大多数结果在几秒内即...原创 2021-12-16 15:45:44 · 3196 阅读 · 0 评论