xiaoshanzhuzz-优快云博客

原创怎么调用css 前端页面静态页面

copy的腾讯页面第一大块的css看不懂，第二大块怎么调用我本地的？我是从https://www.tencent.com/zh-cn/index.html这里F12保存本地的怎么做个腾讯的静态页面？》

2021-12-07 22:36:01 336

CREATE TABLE kafka_user_behavior_src ( \ user_id UInt64 COMMENT '用户id', \ item_id UInt64 COMMENT '商品id', \ cat_id UInt16 COMMENT '品类id', \ action String COMMENT '行为', \ province UInt8 COMMENT '省份id', \ ts UInt64 COMMENT '时间戳'

2021-01-13 14:39:26 832

原创 kafka相关命令

服务./kafka-server-start.sh -daemon ../config/server.properties创建topic./kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test列表./kafka-topics.sh --list --zookeeper master:2181查看指定topic明细./kafka-topics.s

2021-01-13 14:36:32 109

原创 hive

Hive倾斜数据倾斜的原因Hive倾斜的原因很大部分是由于sql中的join语句与group by语句。原因：对于普通的join操作，会在map端根据key的hash值，shuffle到某一个reduce上去，在reduce端做join连接操作，内存中缓存join左边的表，遍历右边的表，依次做join操作。所以在做join操作时候，将数据量多的表放在join的右边。当数据量比较大，并且key分布不均匀，大量的key都shuffle到一个reduce上了，就出现了数据的倾斜。数据倾斜的优化1.如

2020-08-17 09:33:10 171

原创使用元数据操作hive

使用hive元数据查看查询数据库查看表查看某个数据库下的表查看分区查看某个表的分区查看某个表的列使用元数据增加表增加序列化使用的类信息在SERDES这个表里增加一个SERDE_ID = 1216。增加字段id在CDS 这个表里增加一个字段CD_ID，与SDS表关联。CDS CD_ID = 1093增加关联字段在sds表里增加信息这里的SERDE_ID 和CD_ID都是需要先添加的。因为这个表的外表指定了。增加字段在columns_v2表里

2020-08-14 09:32:02 277 1

原创 hive增量数据处理

select * from(select *,row_number() over (partition by ${primary_key} order by updated desc) as updated_nfrom adata) tmpwhere updated_n = 1and (deleted is null or deleted != 1)

2020-08-03 09:39:34 605