
笔记
文章平均质量分 73
lg4546
这个作者很懒,什么都没留下…
展开
-
Insert into select语句把生产服务器炸了,Insert into select非常慢时如何优化
insert into select 的优化方案,当数据量比较大时候可以优化提高效率原创 2023-09-11 18:45:40 · 2948 阅读 · 0 评论 -
centos安装最新postgresql数据库(15.3版本),漏洞修复
postgresql数据库漏洞修复 方案, 大的版本升级方案原创 2023-07-18 10:44:22 · 508 阅读 · 0 评论 -
jimureport token 权限验证接入代码
jimureport 接入token验证,全部代码开源原创 2022-07-12 18:51:04 · 1388 阅读 · 0 评论 -
Prometheus监控预警Flink的任务
flink 的 job 任务 到 prometheus 里监控预警原创 2022-06-14 15:53:15 · 783 阅读 · 0 评论 -
解决 datax 批量同步表功能(灵活控制表的个数)实现
datax 实现批量同步库,批量同步多表任务原创 2022-04-11 17:10:16 · 4812 阅读 · 2 评论 -
centos7 安装tensorflow 报 grpcio 异常 解决方案
1 搭建tensorflow的环境产生的异常记录.cd /root curl -O https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh sh Anaconda3-2019.07-Linux-x86_64.sh # 配置~/.bashrc, 添加一行: export PATH=/root/anaconda/bin/:$PATH2, 安装必备组件supervisor, nginxyum install supervi原创 2022-03-25 18:49:45 · 4241 阅读 · 0 评论 -
azkaban 调用 shell脚本,执行结果不返回
vim /data/azkaban/exec/job/test.shshell脚本内容,#!/bin/bashset -econfigfile="$1"while read -r line ; doeval "$line"done < $configfilepath=dataname=ads_ub_pv_uv_ip_cntsed "s/yesterday/$yesterday/g" /$path/azkaban/exec/job/$name.sql > /$path/.原创 2021-12-22 18:45:21 · 2211 阅读 · 0 评论 -
clickhouse 性能 原理 深度解析
一、clickhouse为什么如此快1)优秀的代码,对性能的极致追求clickhouse是CPP编写的,代码中大量使用了CPP最新的特性来对查询进行加速。2)优秀的执行引擎以及存储引擎clickhouse是基于列式存储的,使用了向量化的执行引擎,利用SIMD指令进行处理加速,同时使用LLVM加快函数编译执行,当然了Presto也大量的使用了这样的特性。3)稀疏索引相比于传统基于HDFS的OLAP引擎,clickhouse不仅有基于分区的过滤,还有基于列级别的稀疏索引,这样在进行条件查原创 2021-12-03 11:32:26 · 2126 阅读 · 0 评论 -
superset 升级到最新版本 踩到的坑
superset最近的更新颇为频繁,还增加了对es的支持,必须升级一把。升级的方法也比较简单,现在测试环境试验,官方的文档有说明:按照网上提供的 升级教程 升级。cd ~# 停止运行killall -9 gunicorn# 激活虚拟环境. ./superset/bin/activatepip install superset --upgradesuperset db upgradesuperset init我升级完后会报错。superset initINFO:root原创 2021-11-24 23:18:06 · 1798 阅读 · 0 评论 -
clickhouse 优化
clickhouse 优化 查询 存储 记录原创 2021-11-17 10:56:45 · 676 阅读 · 0 评论 -
pg数据高级函数解释及使用总结
1 lag函数 lag(value any [, offset integer [, default any ]]) returns value evaluated at the row that is offset rows before the current row within the partition; if there is no such row, instead return default. Both offset and default are e原创 2021-09-06 14:47:26 · 934 阅读 · 0 评论 -
最新 全球 ip地址 归属地 字典表 (202108)
最新 全球 ip地址 归属地 字典表 (202108)原创 2021-08-19 18:17:13 · 2747 阅读 · 0 评论