- 博客(6)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 怎么调用css 前端页面 静态页面
copy的腾讯页面 第一大块的css看不懂，第二大块 怎么调用我本地的？ 我是从https://www.tencent.com/zh-cn/index.html 这里F12 保存本地的 怎么做个腾讯的静态页面？》
2021-12-07 22:36:01
321
原创 clickhouse与kafka结合
CREATE TABLE kafka_user_behavior_src ( \ user_id UInt64 COMMENT '用户id', \ item_id UInt64 COMMENT '商品id', \ cat_id UInt16 COMMENT '品类id', \ action String COMMENT '行为', \ province UInt8 COMMENT '省份id', \ ts UInt64 COMMENT '时间戳'
2021-01-13 14:39:26
823
原创 kafka相关命令
服务 ./kafka-server-start.sh -daemon ../config/server.properties 创建topic ./kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test 列表 ./kafka-topics.sh --list --zookeeper master:2181 查看指定topic明细 ./kafka-topics.s
2021-01-13 14:36:32
97
原创 hive
Hive倾斜 数据倾斜的原因 Hive倾斜的原因很大部分是由于sql中的join语句与group by语句。 原因：对于普通的join操作，会在map端根据key的hash值，shuffle到某一个reduce上去，在reduce端做join连接操作，内存中缓存join左边的表，遍历右边的表，依次做join操作。所以在做join操作时候，将数据量多的表放在join的右边。 当数据量比较大，并且key分布不均匀，大量的key都shuffle到一个reduce上了，就出现了数据的倾斜。 数据倾斜的优化 1.如
2020-08-17 09:33:10
159
原创 使用元数据操作hive
使用hive元数据查看 查询数据库 查看表 查看某个数据库下的表 查看分区 查看某个表的分区 查看某个表的列 使用元数据增加表 增加序列化使用的类信息 在SERDES这个表里增加一个SERDE_ID = 1216。 增加字段id 在CDS 这个表里增加一个字段CD_ID，与SDS表关联。 CDS CD_ID = 1093 增加关联字段 在sds表里增加信息 这里的SERDE_ID 和CD_ID都是需要先添加的。因为这个表的外表指定了。 增加字段 在columns_v2表里
2020-08-14 09:32:02
264
1
原创 hive增量数据处理
select * from (select *, row_number() over (partition by ${primary_key} order by updated desc) as updated_n from adata ) tmp where updated_n = 1 and (deleted is null or deleted != 1)
2020-08-03 09:39:34
583
空空如也
sparkDF的foreach
2021-12-09
idea下载依赖一直不成功
2020-03-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人