- 博客(6)
- 收藏
- 关注
RSS订阅原创 clickhouse物化视图写入列为空
这应该是clickhouse这个版本的bug。参考 https://altinity.com/blog/2020-07-14-joins-in-clickhouse-materialized-views。当往dwd.dwd_a插入数据触发物化视图后，dwd.dwd_c中的结果，id，a列都是没有值的，或者是默认值。当物化视图中join的两张表有列名相同是，需要使用as重新指定下列名。使用版本阿里云clickhouse 21.8.2.1。这样就能正常保存id列和a列了。
2023-06-27 10:09:13
274
1
原创 azkaban job 动态修改系统变量
实际为了将azkaban executor进程放在pid1，以及log可以被容器log收集，没有将进程放在后台执行，而是使用exec在前台执行。最初的设计EMR是固定的，在启动容器时配置系统变量就好了。后面为了节省成本，EMR集群改成了动态开启和关闭，那就需要azkaban能动态修改job执行时系统变量。最开始想到的是注册一个信号接收的handler，通过向进程发送信号来修改系统变量。即使放在后台执行，父进程的系统变量修改后，子进程没有重启也更新不了。开头的变量设置为子进程的系统变量。
2023-04-03 17:52:09
291
原创 spark 2.3 alter table partition 造成分区create_time丢失
使用spark 2.3进行hive表分析时，对于分区表ANALYZE TABLE table_name [ PARTITION ( partition_col_name [ = partition_col_val ] [ , … ] ) ]COMPUTE STATISTICS
2021-12-24 10:43:51
693
原创 clickhouse mysql表引擎暴露密码
创建了mysql引擎库或者表后，使用show create table/database 可以看到密码。目前来说没有解决的方法。参考了https://github.com/ClickHouse/ClickHouse/issues/3311即使通过权限控制，撤销了用户的show database或者show table的权限。但是只要有select的权限，select会间接授权show，导致撤销权限无法工作。...
2021-11-25 14:38:18
684
原创 Spark sql org.apache.spark.sql.AnalysisException: cannot resolve ‘`a.a`‘ given input columns
Spark sql 版本2.3.0，grouping sets之后jion相同表会出现列名不存在的问题。会导致报错org.apache.spark.sql.AnalysisException: cannot resolve '`a.a`' given input columns: [b.b, b.c, a.a, a.b, a.c]; line 8 pos 29;或者org.apache.spark.sql.AnalysisException:Failure when resolving confl
2021-09-15 10:48:09
10610
原创 python2 pip指令报错 SyntaxError: invalid syntax
这里写自定义目录标题python2 pip指令报错 SyntaxError: invalid syntax使用yum安装pip解决方法python2 pip指令报错 SyntaxError: invalid syntax使用yum安装pip使用yum安装yum install python-pip如果不能安装，先安装一个仓库yum -y install epel-release查看是否已经安装python -m pip --version返回版本为：8.1.2升级pippip install
2021-03-19 16:01:55
960
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人