
Clickhouse
Halo 咯咯
从1到100很简单,但是从0到1却很难(不过,现在有一些0到1的工作可以丢给AI了)。
展开
-
使用 Yoda 和 ClickHouse 进行实时欺诈检测
批量插入数据:当摄取管道批量插入数据时,ClickHouse的性能最佳。排序键很重要:大多数实时分析查询遵循一种查询模式,即在选择一定时间范围内(如shopper_id或batch_id)的数据。为ClickHouse表模式指定排序键(例如, created_at_ts)可以显著减少扫描的数据量并提高查询性能。安全性:诸如订单细节、购物者和用户活动等敏感数据被流式传输到ClickHouse。因此,实施了两步访问控制,以防止未授权客户端访问数据。原创 2024-03-28 22:31:56 · 918 阅读 · 0 评论 -
secureCRT连接clickhouse-client输入命令显示重复问题
连接上Clickhouse-client客户端之后,输入各种命令都会出现重复问题,都是复制前面的命令:经排查发现,原来是由于SecureCrt配置的终端仿真器不兼容导致的问题,先前默认配置的是V-100,将其改成其他的就可以了。我是改成了xterm:最后输入命令就显示正常了!...原创 2022-04-24 09:32:43 · 1399 阅读 · 0 评论 -
Clickhouse执行报错(Double-distributed IN/JOIN subqueries is denied (distributed_product_mode = ‘deny‘))
在执行SQL语句时报如下错误:DB::Exception: Double-distributed IN/JOIN subqueries is denied (distributed_product_mode = 'deny'). You may rewrite query to use local tables in subqueries, or use GLOBAL keyword, or set distributed_product_mode to suitable value. (versio原创 2022-03-30 13:51:19 · 4110 阅读 · 0 评论 -
Clickhouse 数据字典dictionary引擎
1、概述数据字典是clickhouse提供的一种简单 实用的存储媒介,以键值和属性映射的形式定义数据。字典中的数据会主动或被动加载到内存之中,并支持动态更新。由于字典数据常驻内存特性,比较适合保存常量或者经常使用的维度表数据,以避免不必要的JOIN数据。数据字典分为内置和扩展两种形式,内置数据字典是以clickhouse默认自带的字典;外部字典是通过用户自定义配置实现的字典,也可以从不同源(ClickHouse,MySQL或通用的ODBC)中获取数据。Clickhouse是外部数据字典来处理多维原创 2021-05-19 16:39:12 · 2859 阅读 · 0 评论 -
Clickhouse 表引擎介绍【高质量文章整理】
最近在学习Clickhouse,看到一些好的文章就收集于此,方便后面查阅使用。ClickHouse表引擎到底怎么选 ClickHouse 表引擎概述原创 2021-04-07 10:23:47 · 354 阅读 · 0 评论 -
DBeaver Clickhouse连接/查询超时(Read timeout)
在是用DBeaver连接Clickhouse做查询时,有时候会出现连接或查询超时的情况,这个时候可以在连接的参数中添加设置socket_timeout参数来解决问题。具体添加过程如下:1、打开连接设置面板2、进入编辑驱动设置3、在URL模板中添加参数配置即可。参数说明:socket_timeout:连接超时时间希望以上可以帮助你解决问题~...原创 2021-03-26 09:53:27 · 20671 阅读 · 2 评论 -
Clickhouse TTL 时效性
TTL即Time To Live 表示数据的存活时间。 在MergeTree中,可以为某个列字段或者整张表设置TTL。 当时间达到时,若列字段级别的TTL 则会删除这一列的数据。 若表级别的TTL则会删除整张表的数据;若同时设置了列级别的和表级别的TTL则以先到期的为准。 无论列级别还是表级别的TTL,都需要依托某个Datetime或者date类型的字段,通过对这个时间字段的INTERVAL操作来表述TTL的过期时间。 设置示例:TTL day +...原创 2021-03-23 11:12:58 · 2836 阅读 · 1 评论 -
Clickhouse Remote函数使用记录
使用前请参考官网remote 函数介绍。1、简介remote, remoteSecure允许您访问远程服务器,而无需创建Distributed表。remoteSecure- 与remote相同,但是会使用加密链接。这两个函数都可以在SELECT和INSERT查询中使用。2、语法remote('addresses_expr', db, table[, 'user'[, 'password'], sharding_key])remote('addresse...原创 2021-03-22 11:39:58 · 7645 阅读 · 2 评论 -
Clickhouse 数据迁移文章整理
刚好最近在做Clickhouse数据迁移相关的工作,在网上收集了一些文章,方便后续参考学习。官网介绍:Clickhouse-copier 官网介绍:Remote 记一次Clickhouse数据迁移 clickhouse-copier是如何进行数据迁移的 clickhouse-copier分析调研 CLICKHOUSE-COPIER IN PRACTICE...原创 2021-03-22 11:20:05 · 750 阅读 · 0 评论 -
【转】记一次 ClickHouse 数据迁移
转载地址:https://zhuanlan.zhihu.com/p/220172155背景大约在 2018 年 8 月份开始正式接触 ClickHouse,当时机房没有合适的服务器,就在 Azure 开了一台虚拟机来部署。平稳运行了两年,支撑了 YiDrone 和 YiSonar 两个重要的产品的底层数据存储和查询。前段时间采购服务器的时候预留了一些资源,加上 Azure 的免费订阅即将到期,于是准备把 ClickHouse 迁回到机房。数据量不大,只有一个节点,硬盘上的数据加起来 500G .转载 2021-03-22 10:41:13 · 5022 阅读 · 1 评论 -
Clickhouse报错:DB::Exception: Timeout exceeded: elapsed 5.001140127 seconds, maximum: 5:
在Clickhouse中查询时,报如下错误:DB::Exception: Timeout exceeded: elapsed 5.001140127 seconds, maximum: 5:发现超时了,查看Clickhouse的设置表::) select * from system.settings where name='max_execution_time'┌─name───────────────┬─value─┬─changed─┐│ max_execution_time │原创 2020-07-06 09:49:32 · 6716 阅读 · 0 评论 -
Clickhouse修改字段类型
Clickhouse的列操作ALTER TABLE [db].name [ON CLUSTER cluster] ADD|DROP|CLEAR|COMMENT|MODIFY COLUMN ...在查询中,指定一个或多个逗号分隔操作的列表。每个操作都是对列的操作。支持以下操作:ADD COLUMN— Adds a new column to the table. DROP COLUMN— Deletes the column. CLEAR COLUMN— Resets colum...原创 2020-06-27 21:38:54 · 26735 阅读 · 1 评论 -
Clickhouse 数据删除更新
数据删除按分区删除ALTER TABLE db_name.table_name DROP PARTITION '20200601'按条件删除ALTER TABLE db_name.table_name DELETE WHERE day = '20200618'数据更新ALTER TABLE <table_name> UPDATE col1 = expr1, ... WHERE <filter>举例::) select event_status_原创 2020-06-20 09:19:10 · 41910 阅读 · 3 评论 -
Clickhouse sql语句添加分号报错 DB::Exception: Syntax error (Multi-statements are not allowed)
问题描述使用Clickhouse的客户端查询数据时末尾添加";"报错,执行语句:select * from system.settings where name='max_execution_time' ;报错信息如下:Code: 62, e.displayText() = DB::Exception: Syntax error (Multi-statements are not allowed): failed at position 92 (end of query) (line原创 2020-06-20 09:19:34 · 20654 阅读 · 2 评论 -
深入理解Clickhouse
本文来源于LiangFan's Blog博客,介绍了Clickhouse一些基础知识和原理。~ 深入理解ClickHouse~ 1. 深入理解ClickHouse之1 - 初识ClickHouse 2. 深入理解ClickHouse之2-部署单机版ClickHouse 3. 深入理解ClickHouse之3-理解集群的概念 4. 深入理解ClickHouse之4-部署ClickHouse集群 5. 深入理解ClickHouse之5-ClickH...原创 2020-06-06 10:42:32 · 907 阅读 · 2 评论 -
获取最近几天的数据SQL记录
ODPS:set odps.sql.type.system.odps2=true;SELECT * FROM table_name WHERE dt = to_char(date_add(CURRENT_DATE(), -5), 'yyyymmdd') ;原创 2020-04-02 17:16:49 · 1585 阅读 · 0 评论 -
Clickhouse 时间日期函数实战(详细)
常用函数:now() // 2020-04-01 17:25:40 取当前时间toYear() // 2020 取日期中的年份toMonth() // 4 取日期中的月份today() // 20...原创 2020-04-01 18:07:18 · 130256 阅读 · 5 评论