
大数据
文章平均质量分 69
bigdata
春马与夏
这个作者很懒,什么都没留下…
展开
-
Flink消费Kafka插入ClickHouse实现百亿秒级OLAP
一、数据写入ClickHouse的几种方式(Java版)1、第三方集成库:flink-clickhouse-sink 点我进官网版本限制:flinkflink-clickhouse-sink1.3.*1.0.01.9.*1.3.1Maven依赖<dependency> <groupId>ru.ivi.opensource</groupId> <artifactId>flink-clickhouse-s原创 2021-11-30 16:38:04 · 4531 阅读 · 0 评论 -
DBeaver连ClickHouse报错误 [164] DB::Exception:Cannot modify ‘max_result_rows‘ setting in readonly mode
啥也不说了直接上图,去掉俩限制就行了????????一个 限制条数,一个缓存,全取消勾选,重启DBeaver。不管是本地还是分布,不管表还是视图,尽情预览数据原创 2021-11-12 23:15:24 · 2048 阅读 · 0 评论 -
ClickHouse Sql
删除数据1. 删除表删除【本地表】、【分布表】,立即删除,删除后不可写入了,因为没有表元数据了。后重建表,不会报错。drop table database.tableclickhouse默认的库引擎是原子数据库引擎删除【复制表】后重建同名表,会出现创建失败提示,因为 复制表的引擎是ReplicatedMergeTree引擎族,需要zk路径和备份名这俩参数。删除后不会立即删除复制(备份)数据,默认480s后删除。所以立马重建的话可能会报创建失败。避免这个报错可使用Ordinary表引擎,可使原创 2021-11-12 22:29:53 · 2088 阅读 · 0 评论 -
ClickHouse数据类型
-原创 2021-11-02 11:04:59 · 1358 阅读 · 0 评论 -
Python批量新增/更新Pika库 On Linux
pika安装 (点我进官网)# coding=UTF-8import subprocessssh_command = r"redis-cli -h xx.xxx.xxx.xxx -p xxxxx -a 'xxxxxx'"input_file = r'/home/xxxxxx/zhangjinke/tasks.txt'with open(input_file,'r') as file: file_list = file.readlines() for i in file_lis.原创 2021-09-29 16:40:00 · 6516 阅读 · 0 评论 -
Kylin基础
1、kylin基本介绍Apache Kylin 是一个开源的分布式分析引擎,最初由 eBay 开发贡献至开源 社区。它提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力以支持大规模数据,能够处理 TB 乃至 PB 级别的分析任务,能够在亚秒级查询巨大的 Hive 表,并支持高并发。1.1、为什么要使用kylin自Hadoop 诞生以来,大数据的存储和批处理问题均得到了妥善解决,而如何高速地分析数据也就成为了下一个挑战。 于是各式各样的“SQL on Hadoop”技术应运而生,原创 2021-06-16 12:29:44 · 6877 阅读 · 0 评论