- 博客(7)
- 收藏
- 关注
原创 数据仓库设计
分为两步将数据载入,有两块操作:第一,数据集成,同一口径:命名,单位,码值等第二,合理捕获增量变化数据,存入数仓设计ODS层,存放导出数据第一步,设计抽象模型(高层建模)第二部,在高层建模基础上丰满业务模型(中间层建模)第三步,扩展中间层建模生成物理模型(底层建模)
2023-08-15 00:38:04
583
原创 在现有的kafka上,搭建debezium,并接收数据
环境概要:以有zookeeper、kafka,需要搭建一个debezium,接收mysql binlog,发送到kafka中。开始!docker-compose 没有安装的,自行百度搭建debeziumcat docker-compose.ymlversion: "3"services: connect: image: debezium/connect:1.4 ports: - 8083:8083 environment: - BOOTS
2021-07-16 09:49:12
638
原创 flink-connector-kudu_2.11的大坑,表格删不掉
测试debezuim+kafka+flink+kudu。用flink-connector-kudu_2.11 连接器,写入数据至kudu。apache/bahir-flink连接器的开源地址 https://github.com/apache/bahir-flink.尝试使用flink sql 将数据写入kudu,使用flink sql 删除表格。问题出现了!!进入impala client后,发现表格仍存在,drop table后,表格消失,但是当invalidate metadata tabl
2021-07-15 17:56:59
1109
原创 FLINK HADOOP_CLASSPATH设置,集成hadoop
HADOOP_CLASSPATH未设置初次尝试在etc/profile 中添加export HADOOP_CLASSPATH=`hadoop classpath`并source,发现没有起效再次尝试在flink/bin/start-cluster.sh中添加export HADOOP_CLASSPATH=`hadoop classpath`即生效运行flink run时也存在相同问题衍生:配置此环境变量后,不用在lib中添加hadoop,hive等相关jar包,自动获取当前环.
2020-12-09 10:57:46
11576
2
原创 beeline数据导出,指定分隔符,去掉格式
beeline -u jdbc:hive2://host:10000 --incremental=true --showHeader=false --outputformat=dsv --delimiterForDSV=$'\t' -e 'select * from test' > file.csv参数说明–incremental=[true/false]从Hive 2.3版本往后默认是true,在它之前是默认为false。当设置为false时,为了最佳的展示列宽,完整的结果
2020-07-10 10:48:16
7067
转载 Mac上安装Python3虚拟环境(VirtualEnv)
Mac上安装Python3虚拟环境1.为什么要安装虚拟机?单独的虚拟环境可以让每一个Python项目单独使用一个环境,而不会影响Python系统环境,也不会影响其他项目的环境。示意图如下安装virtualenv环境[sudo] pip3 install virtualenv [sudo]可用可不用安装完成检测版本是否安装成功virtualenv --version如果遇到not found command,可以使用以下偏方pip3 unistall virtualenvn(不要真的卸
2020-06-11 18:48:27
2877
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人