- 博客(9)
- 收藏
- 关注
RSS订阅原创 doris日志插件安装编辑
在官网上没有说创建doris_audit_db__.doris_audit_tbl__表，这里我不是很理解是为何要创建那两个不在文件中配置的表，而且创建了后也没有日志信息进去，很是困惑。这时四个文件就会重新压缩为一个auditloader.zip文件，分发到所有fe节点上的doris/fe/audit_loader/的目录上。4、在doris创建对应日志数据库和日志数据表。这里状态是INSTALLED就是安装基本完成。2、这里需要对文件plugin.conf编辑。到fe的文件下查看log日志。
2024-07-29 10:34:48
279
原创 doris版本1.1.1 内存持续增长，版本升级到1.1.5稳定版本的记录
只是减缓了内存的增长速度并没有解决内存缓慢增长的问题，官网浏览版本更新介绍在1.1.3版本中有介绍说1.1.0-1.1.2版本都是没有解决内存缓慢增长的问题，只能检索版本查看稳定版，最新的1.2.X性能强大，但是刚出现并不能确定版本是否稳定，能确定较稳定的版本只有0.15和1.1.5,但是0.15 相对性能较差，因而选定了1.1.5。2、停止BE，重命名be数据存储目录be为be-two,作为备份。7、其他fe节点 ，删除本地的存储文件，删除后重新添加。删除除了已经启动的master节点外的所有fe节点。
2023-03-14 13:43:36
2301
4
原创 sqoop命令简记
长时间没有使用 sqoop 命令忘记了很多，这里简单记一下，方便以后查找–username 用户名称–password 密码–table 表名–hive-database hive上的数据库名–hive-table hive上对应的表明–where 过滤条件–delete-target-dir 如果没有上传前已存在文件，会将已存在的文件删除–hive-overwrite 上传数据时覆盖模式–as-parquetfile 上传的数据parquet格式存储–compression-c
2021-10-28 18:03:14
841
原创 datax抽取es数据到hive
收到一个需求将es集群的数据抽取到大数据平台“endpoint” ：es的ip地址,“accessId”:用户名,“accessKey”: 密码,“index”: 数据库前缀*，（ 其中的*是全匹配 ）“scroll”: 每次读取数据缓存数,{ "job": { "setting": { "speed": { "channel": 8 }, }, "conte
2021-10-28 17:48:16
2779
8
原创 hive数据使用datax导入到clickhouse
首先hive创建表格：drop table test.test;create table if not exists test.test( userId String COMMENT '用户id', custCreateddate String COMMENT '用户创建时间', orderId String COMMENT '订单id', orderCreateddate String COMMENT '订单创建时间',----订单创建时间 orderPayst
2021-09-13 18:33:39
1790
原创 hive递归尝试失败，使用python脚本解决的尝试
在一张hive表中 存储了自身关联自身两键值 即： 当前id(newid) 和 原先id (oldid);每一个 newid 和 oldid 两id有可能 关联本表中 其他的id现有需求找到 最后newid 和 最早oldid 使其一一对应网上有sqlserver 等关系型数据库的递归说明大抵就是利用with as 建立子表 自身调用自身实现递归，但是hive中不支持这种方式，后来想使用datax 提交代码到sqlserver运行，运行即结果直接传输到建立的hive表中，
2021-07-29 18:41:46
682
原创 hql获取中位数
– dense_rank()over() 使用dense_rank() 排序select answeryear,avg(num) median_num—为序号最大为奇数时只有一个 平均值为中间值，为序号最大为偶数时 取两中间值的平均数为中位数from(select d.answeryear,d.num,d.dense_num,b.max_dense_num,case when b.max_dense_num%2=1 then (b.max_dense_num+1)/2 else 0 end
2021-05-24 11:18:23
469
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人