- 博客(14)
- 收藏
- 关注
原创 Clickhouse 中的replace语法
REPLACE子句在SELECT语句中位于COLUMNS选择之后,但在WHERE子句之前。这意味着REPLACE操作会先于WHERE过滤执行。此外,文档还指出:这进一步说明REPLACE操作是在整个结果集上执行的,而不是在WHERE过滤之后。因此,我们可以得出结论,在ClickHouse中,查询结果集字段的动态替换(REPLACE)的优先级高于WHERE子句的过滤操作。REPLACE会先执行,然后才是WHERE过滤。
2025-01-23 15:37:35
775
原创 记录一次CK中插入数据不在预期分区中的现象
slot 的数量等于所有分片权重之和,假设集群有两个分片,第一个分片 weight 为 1,第二个 weight 为2 ,那么 slot 的数量为 3(1+2),slot 按照权重元素的取值区间,与对应的分片形成映射关系,对同一ID值(同一分片键,同一分区键)的数据执行插入操作(插入到分布式表中),有概率写入到不同分片上去(与常理不符合,应该是写入到同一个分片节点上) 根据user_id 分区的。148上节点分片配置的weight为2,和第一个147节点上的配置不同!
2025-01-14 16:55:44
1040
原创 借助clickhouse-jdbc实现oracle数据迁移到mysql(脚本版)
同时Clickhouse 自带mysql函数,可以直接读取,插入数据到mysql数据库中(注意⚠️:在clickhouse数据库上修改不了mysql数据库数据)在SQL中可以重写命名集合中设置的参数,如下例所示。这个过程借助第三方数据库实现数据从oracle数据库到mysql数据的转变,比起传统的ETL工具,既不需要空间去转换数据,也不需要下载原始数据和上传转换好的数据。然后,我们就能在clickhouse数据库中查或者插入mysql表数据,如下例子是查的mysql 数据库中aicc.aicc_test。
2024-12-18 16:07:12
760
原创 ClickHouse JDBC Bridge/Funtion实现多种数据库之间数据迁移-联合-ClickHouse
在 ClickHouse 中,我们需要使用适当的引擎,并且注意数据类型和主键的定义。ClickHouse 主要使用 MergeTree 系列引擎来支持主键和分区。├── clickhouse-jdbc-bridge-2.1.0-shaded.jar . #/usr/local/lib/java/目录下。① 可以执行insert 和select 的操作, 也可以执行show tables;和show create table_name;② 也可以进行clickhouse和mysql之间的交互;
2024-06-26 16:54:02
967
原创 Clickhouse监控方案
3、scrape_configs 配置块:配置采集目标相关, prometheus 监视的目标。Prometheus 自身的运行信息可以通过 HTTP 访问,所以 Prometheus 可以监控自己的运行数据。可执行文件在cd /usr/sbin/目录下,配置文件在/etc/grafana下。➢ scrape_interval:配置拉取数据的时间间隔,默认为 1 分钟。1、global 配置块:控制 Prometheus 服务器的全局配置。➢ targets :指定监控的目标 ,其实就是从哪儿拉取数据。
2024-05-09 10:38:18
615
1
原创 If you‘re seeing this Grafana has failed to load its application files ___Grafana 问题
官网就那么几种安装方式,反复尝试几次都这样,看浏览器也在支持范围,头疼。没想到换个浏览器就打开了。
2024-04-16 14:46:45
978
1
原创 霉霉——long live HTML歌单设计
里面涉及许多初级HTML知识,学习中带来信仰,等我再学学,争取来个爱心飘动效果。~~~纯纯就是本人霉粉自玩~~~~
2024-01-19 14:57:12
413
1
原创 Mysql数据库测试工具——sysbench
在 sysbench 1.0 之前, 该场景是通过 oltp.lua 这个脚本来测试的。不过该脚本在 sysbench 1.0 之后就被废弃了,但为了跟之前的版本兼容,该脚本放到了/usr/local/share/sysbench/tests/include/oltp_legacy/ 目录下。默认情况下,sysbench 是通过 INSERT INTO 命令来导入测试数据的。command是 sysbench 要执行的命令,支持的选项有:prepare,prewarm,run,cleanup,help。
2024-01-19 14:48:29
1911
1
原创 Greenplum数据库安装+GPCC部署
在Greenplum数据库中,pg_hba.conf文件用于配置客户端连接到数据库服务器的身份验证规则。当客户端请求连接到数据库服务器时,服务器会根据pg_hba.conf文件中的规则进行身份验证,以确定是否允许连接。必须是gpadmin超级用户执行,必须提供连接master的连接端口,并提供将要创建的gpmon超级用户的密码。在此种认证方法下,数据库会拒绝该连接(即,配置连接的黑名单)配置进行链接的用户,需要注意的是这里是指的数据库的用户。流复制链接的配置,在PG的主从配置中会用到。
2024-01-19 14:42:06
957
1
原创 Mysql主从复制(黑马版)
做主从复制的目的,并不是为了备份为了解决主库的单点故障,快速切换到从库;为了减少主库的压力(读写分离);可以在从库中执行备份,避免备份期间影响主库服务;
2024-01-11 10:56:47
999
原创 mysql的xtrabackup+主从复制之建备机
安装和数据库匹配的版本:根据mysql版本按装好xtrabackup工具。根据mysql版本选择xtrabackup版本,5.7.X版本的mysql对应2.4.X的xtrabackup,8.0.X版本的数据库对应8.0.X版本的xtrabackup(这里有个问题:2.4.X的xtrabackup版本最新只到28,但是数据库到了5.7.38)
2024-01-11 10:51:23
1509
原创 GlusterFS集群部署
弹性HASH算法是Davies-Meyer算法的具体实现,通过HASH算法可以得到一个32位的整数范围的hash值,假设逻辑卷中有N个存储单位Brick,则32位的整数范围将被划分为N个连续的子空间,每个空间对应一个Brick。##如下命令需要在第3个服务端节点(仲裁节点)上执行,vgname名、cdname云盘名和仲裁空间大小请根据实际修改,每个仲裁盘大小建议最小为对应数据盘的5%。如下命令需要在第1个和第2个服务端节点(数据节点)上执行,vgname名、cdname云盘名和每个云盘大小请根据实际修改。
2023-10-10 14:01:44
204
1
原创 PXC安装+keepalived配置
💡 PXC(Percona XtraDB Cluster)是一个开源的、高可用性的MySQL解决方案,它基于Galera集群技术,提供了内置的多主节点、同步复制和故障转移等功能。PXC支持无需共享存储就能实现可扩展性和高可用性,使得应用程序能够更好地应对高并发访问和故障恢复。PXC集群主要由两部分组成:Percona Server with XtraDB和Write Set Replication patches(同步、多主复制插件)高可用性和可扩展性:PXC集群采用多主节点架构。
2023-09-15 14:14:06
314
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人