- 博客(21)
- 收藏
- 关注
RSS订阅原创 统信uos x86 系统kerberos 高可用测试文档
银河麒麟系统kerberos 高可用测试文档主节点执行如下命令安装KDC 服务修改/etc/krb5.conf文件，做如下修改 (注意/etc/krb5.conf.d/目录下的配置文件里面default_ccache_name参数重置 需要修改)
2025-03-24 15:43:37
394
原创 银河麒麟系统kerberos 高可用测试文档
银河麒麟系统kerberos 高可用测试文档主节点执行如下命令安装KDC 服务修改/etc/krb5.conf文件，做如下修改 (注意/etc/krb5.conf.d/目录下的配置文件里面default_ccache_name参数重置 需要修改)
2025-03-24 09:29:08
326
原创 全网最细~ Clickhouse VS Byconity ~ 性能对比
测试引擎介绍ClickHouse是由俄罗斯搜索引擎公司Yandex开发的一个列式数据库管理系统，它专注于大规模数据的快速查询和分析。ByConity是由字节开源的云原生数仓，采用了存储计算分离的架构，实现租户资源隔离、弹性扩缩容，并具有数据读写的强一致性等特性，它支持主流的OLAP引擎优化技术，读写性能非常优异。 本文将使用这四个OLAP引擎对TPC-DS基准测试的99个查询语句进行性能测试，并对比它们在不同类型的查询中的性能差异
2024-12-20 09:51:07
187
原创 全网最细~ Clickhouse ~ 均衡节点数据脚本
clickhouse/tables/01/gesaas/ych_v2 -> old_hostname节点存储在zk 上的元数据目录。new_hostname -> 新节点hostname。old_hostname -> 久节点hostname。gesaas.ych_v2 -> 需要均衡的库名.表名。partition.txt -> 需要均衡的表分区。
2024-07-12 10:43:03
1545
原创 全网最细~Clickhouse~ 之 TTL 工作原理
在创建表时，可以通过 TTL 子句为列或表定义 TTL 规则。这段 SQL 表示 example_table 表中的 event_date 列数据将在一个月后自动删除。
2024-07-05 17:44:16
979
原创 全网最细~ Clickhouse 之 merge 工作原理&性能优化
数据写入和初始存储:当数据写入 ClickHouse 时，数据先存储在内存中，并以较小的块（parts）写入磁盘。这些小的块最初写入磁盘时没有进行排序和压缩，称为初级数据片段。合并触发:合并过程由 ClickHouse 后台自动管理。后台进程会监控表中的数据片段，并根据预设的规则和阈值触发合并操作。合并操作的触发条件包括：数据片段数量超过阈值、片段大小等。合并操作:后台进程选择若干个较小的数据片段进行合并。这个过程包括排序、去重和压缩。
2024-05-27 17:21:20
2204
原创 全网最细~ Clickhouse 集群部署
比如ORDER BY (Col1, Col2)，值得注意的是，如果没有指定主键，默认情况下 sorting key(排序字段)即为主键。ReplicatedMergeTree表引，使得以上 MergeTree 家族拥有副本机制，保证高可用，用于生产环境，对于大数据量的表来说不推荐使用，因为副本是基于zk做数据同步的，大数据量会对zk造成巨大压力，成为整个ck整个集群瓶颈。大约在配置文件的1037行，表示分片号，因为集群就一个分片，所以3个节点的分片号都是01，表示副本名称，三个节点的副本名称不能一样。
2024-05-10 09:33:00
1321
1
原创 全网最细~ Clickhouse ~ 数据备份恢复脚本
1.创建恢复表文件，只需要填写分布式表名即可 table_list.txt。2.创建需要备份的数据库文件，把需要备份的数据库名写入到该文件中。2 上传脚本目录(脚本权限775 用户root)3.上传脚本目录(脚本权限775 用户root)1.创建数据备份目录。4.执行备份脚本命令。3 执行恢复脚本命令。
2023-04-17 18:11:59
3700
5
原创 全网最细~ Clickhouse ~ 数据迁移脚本(支持集群内迁移，支持集群外迁移)
【代码】clickhouse 数据迁移脚本(支持集群内迁移，支持集群外迁移)
2023-04-17 17:47:25
781
原创 全网最细~ Ceph 状态报警告 pool rbd has many more objects per 修改
pool是ceph存储数据时的逻辑分区，它起到namespace的作用。---查看pool有多种方式：第一种方式: rados lspools第二种方式: ceph osd lspools第三种方式: ceph osd dump |grep pool----设置POOL配额查看pool 查看参数ceph osd pool g...
2019-11-01 11:07:55
807
1
原创 全网最细~ Spark RDD 之五种属性
Spark2每一个切片都会有一个函数作业在上面用于对数据进行处理3RDD和RDD之间存在依赖关系4可选，key value类型的RDD才有RDD[(K,V)]）如果是kv类型的RDD，会一个分区器，默认是hash-partitioned-5可以，如果是从HDFS中读取数据，会得到数据的最优位置（向Namenode请求元数据）...
2019-03-11 15:17:40
401
1
原创 全网最细~ Spark 之任务提交执行流程原理
–spark 任务提交执行流程1.首先Worker 向Master 建立连接，进行RPC通信，把资源汇报给Master进行注册2.Master 接收到Worker 发来的信息后，会保存Worker 发来的信息，并返回Worker 注册成功，Worker收到注册成功后会定期向Master 发送心跳，让Master 知道Worker 还活着3.SparkSubmit(Driver)会向Mast...
2019-02-25 15:12:00
313
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人