
优化相关
优化的相关类目
谭正强
一个不愿在枯燥的日子里自废武功,同时对技术有点追求的 Java、大数据程序员。永远对牛人心生敬仰,对自己不甘平庸。
人到中年,太多的无奈驱使我无法专心做技术,但是在这里我希望这颗心可以纯粹点,聊点对技术的热爱,反省下当下的人生。
展开
-
Spark写入非分区表Hive无法读取的问题
问题描述: Spark2.4写入的非分区表无法使用Hive2.1.1版本的引擎去读取,报错:`Failed with exception java.io.IOException:java.lang.ArrayIndexOutOfBoundsException: 6` 原因分析: 一、非分区表测试 --1. 新建测试表 create table tmp.orc(id int, name string) stored as orc; --2.sparksql写入 insert into table t原创 2020-10-31 11:55:05 · 784 阅读 · 0 评论 -
clickhouse 常用的运维SQL
1、当前连接数 众所周知,CH 对外暴露的原生接口分为 TCP 和 HTTP 两类,通过 system.metrics 即可查询当前的 TCP、HTTP 与内部副本的连接数。 ch7.nauu.com :) SELECT * FROM system.metrics WHERE metric LIKE '%Connection'; SELECT * FROM system.metrics WHERE metric LIKE '%Connection' ┌─metric────────────────┬─v转载 2020-09-29 17:36:38 · 3904 阅读 · 0 评论 -
简单的Linux常用命令
常用操作命令如下: 1 、切换目录 cd 到/tmp 目录:cd /tmp 到上层目录:cd .. 2 、查看当前目录 pwd 3、 创建一个新的文件夹: mkdir 创建一层目录: 创建多层目录: 4 、删除目录: rmdir [-p] 如果需要层级删除目录,就需要带上p(只能删除空目录)原创 2014-12-21 09:03:51 · 643 阅读 · 0 评论 -
Git分支管理备忘录
Gitlab分支命名规范 publish_v1.0.0_ddl- 发布分支 每次迭代开始建立publish发布分支,分支格式: publish+本地版本编号+本次迭代DDL日期 如: publish_v1.0.0_0509 master - 主干分支,每次public分支发布线上验收通过后,将代码merge_request到master,同时打上对应的tag tag命名规范 格式:v1.0.0_ddl 前缀:与每次迭代编号一致 后缀:本次迭代的ddl日期 如:v1.0.0_20200509 如原创 2020-05-11 17:58:26 · 395 阅读 · 0 评论 -
使用子查询可提升 COUNT DISTINCT 速度 50 倍
Countdistinct是SQL分析时的祸根 首先:如果你有一个大的且能够容忍不精确的数据集,那像HyperLogLog这样的概率计数器应该是你最好的选择。但对于需要快速、精准答案的查询,一些简单的子查询可以节省你很多时间。 让我们以我们一直使用的一个简单查询开始:哪个图表的用户访问量最大? select dashboards.name, count(distinct ...转载 2019-09-02 22:09:13 · 204 阅读 · 0 评论