自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 资源 (2)
  • 收藏
  • 关注

原创 GaussDB(DWS)等待视图wait_status常见状态介绍

等待视图pgxc_thread_wait_status是处理性能问题,查看语句执行状态最常用的视图之一。

2025-01-01 11:53:55 58

原创 GaussDB(DWS)gs_replace修复实例

该文件为替换故障实例、替换主机中产生的用于记录执行步骤的临时文件,如果在上次执行过程中出现宕机或网卡中断等,可能会导致该文件残留。在替换故障实例前检查该文件是否存在,且生成时间非本次替换故障实例的时间,则可判断为上次执行的残留文件,删除该文件后,继续执行替换故障实例。DN环的主、备实例不能同时损坏,DN环的主、从备实例不能同时损坏,DN环的备、从备实例不能同时损坏,即一个DN环中只能损坏一个实例。步骤 3 以omm用户登录第一个正常的CN节点,关闭MPPDB实例节点下的后台访问连接和应用连接。

2025-01-01 11:50:01 57

原创 DWS单节点重启或隔离

步骤1 以omm用户登录任意正常节点,启动被隔离节点所有实例,将正常的实例都拉起。步骤4 对无法拉起的DN实例,分析无法拉起的原因,如果有更换整个raid组等操作导致数据目录受损,则使用gs_replace修复。如果是服务器hung死的场景,则跳过步骤5和步骤7,直接下电重启服务器,重启后等待实例自恢复。步骤2 使用omm用户切换到任意正常节点,source环境变量,设置cn自动剔除参数为60s。步骤3 等待60s后,查看集群状态,被剔除的cn已经变成deleted。步骤4 隔离完成,执行DDL语句验证。

2025-01-01 11:48:39 35

原创 数据仓库日常巡检策略总结

由于在存储或者计算时,往往会将相同值的数据放到同一节点,因此当倾斜数据(大量数据的值相同)出现之后,即使我们增加节点,系统瓶颈仍然受限于倾斜节点的容量或者性能。为保证现网数据库稳定运行,需要进行日常例行巡检,以保障系统的软硬件处于良好的工作状态,并能够及时发现可能出现的问题,做好风险预警和问题处理。• 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。登录数据库后台,查询数据库集群状态和实例是否正常,Normal为正常状态。

2025-01-01 11:46:12 71

原创 pg_terminate_backend批量查询sql进场

该语句可拼接出查杀语句,可以将结果保存到文件中一起执行。如何pg_terminate_backend多条sql。

2025-01-01 11:37:10 49

原创 Oracle到GaussDB 层次查询的改写方案

gaussdb:递归不兼容写法。

2025-01-01 11:35:24 94

原创 GaussDB运维常用命令集

1.分别将主备cms节点的/opt/huawei/Bigdata/mppdb/cm/cm_server/cm_server.conf文件中修改 enable_transaction_read_only =on。5、第一个CN看/var/log/Bigdata/mpp/scriptlog/permission/userpermission.log。6、cms节点/var/log/Bigdata/mpp/scriptlog/sqlexecutor.log查看创建租户相关sql执行日志。

2025-01-01 11:33:51 1902

原创 GaussDB(DWS)集群常用命令

DWS表数据在经过更新、删除后,会产生脏页,脏页会占用空间,需要使用vacuum full命令清理。执行以下语句:select string_agg(a.v_sql,‘union all ‘) from (指定的表使用的磁盘空间,不计索引(但是包含TOAST,自由空间映射和可见性映射)。指定名字的表所使用的全部磁盘空间,包括索引和压缩数据。接受一个表、索引、压缩表的OID或者名字,然后返回它们的字节大小。指定的表使用的总磁盘空间,包括所有的索引和TOAST数据。将执行结果拷贝到SQL执行窗口,进行执行。

2025-01-01 11:22:54 419

原创 GaussDB(DWS)日常运维SQL语句

statement_history记录了执行时间超过阈值(log_min_duration_statement,默认3 s)的详细SQL信息,包含计划生成时间、执行时间、锁等待时间等信息,其中部分信息与参数track_stmt_stat_level设置的级别(默认为’OFF,L0’)有关。根据unique_sql_id查询历史执行信息。– 示例:unique_sql_id为3267119089,全量SQL级别为L2,相当于track_stmt_stat_level=‘L2,off’

2025-01-01 11:17:25 860

原创 SQl优化的30中常用方法

然 而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。14、并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段 sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。11、在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使 用,并且应尽可能的让字段顺序与索引顺序相一致。

2025-01-01 11:13:29 276

原创 GaussDB(DWS)业务慢之常用巡检

schema大小统计(速度快,前提对应版本存在这个视图)巡检未做analyze的表。

2025-01-01 11:10:14 413

原创 GaussDB(DWS)常用运维命令

GaussDB(DWS)

2025-01-01 11:09:05 736

原创 slurm 调度系统搭建

此次搭建系统版本: Centos7.9主控节点:172.16.1.45 (master)计算节点:172.16.1.21(node1)1、编译slurm安装包在编译之前,首先得在系统上安装如下安装包,系统不同可能也需要安装更多的软件包,具体可根据编译slurm包时候的依赖提示进行安装。注意:主控节点和计算节点都需要安装下载slurm安装包,当前下载的版本是slurm-21.08.8-2.tar.bz2。下载地址见下方。

2023-05-16 15:44:24 1823 1

原创 rclone 迁移对象存储自动传输配置文档

【代码】rclone 迁移对象存储自动传输配置文档。

2023-05-16 11:14:01 204 1

原创 rclone 迁移对象存储

rclone 迁移对象存储Rclone 安装配置官网地址:https://rclone.org/一、在线安装。

2023-05-16 11:09:55 638 1

原创 EBS OPP响应时间超时处理过程

EBS OPP 相应时间超时

2022-03-30 09:51:36 680

原创 由于机房突然断电,导致数据库集群启动的时候报错

oracle四节点集群,由于机房突然断电,导致数据库集群启动的时候报ORA-00600: internal error code, arguments: [2131], [33], [32], [], [], [], [],[]

2022-03-29 16:20:42 4367

数据库和应用层业务迁移方案模板

数据库,应用层,中间件,云业务平台,数据迁移,跨云平台迁移数据和应用层迁移方案模板

2023-05-17

SQl server 上云步骤

sql server 数据库迁移上云的详细步骤,

2023-05-16

华为云ECS ORACLE RAC 11.2.0.4 的安装指导

随着全国去IOE的风波,国内很多公司面临着去掉oracle,使用国产数据库,或者选择上云平台的情况,云平台的安装在11.2.0.4版本的时候会出现集群一些报错等问题,和一些网络设置问题,次文档可以帮助更快的在云环境山部署oracle集群

2022-03-29

大数据-数据迁移-hive、hbase、kudu迁移

由于大数据里面涉及到非关系型数据库如hive、kudu、hbase等的数据迁移,目前涉及到的迁移工具都没有支持hive数据库的事务表的迁移,如果hive库里面存在大量的事务表的时候,目前的工具都是不支持的,例如华为的CDM,阿里研发的datax,hadoop的distcp都是不支持大数据事务表的迁移。但是目前很多公司随着数据量的增涨和上云的趋势,出现了喝多公司迁移大数据平台上云的需求,如果进行上云就要涉及到数据的迁移和各个不同平台数据版本的适配等问题。 下面为从自建的数据中心迁移hadoop到华为云上适配大数据平台MRS的一次项目迁移,此项目涉及到hive、kudu、hbase 的数据迁移,数据总量达到了15T,此文档是耗时5月时间和时间的检验,通过脚本编辑批量迁移完成大数据迁移上云的最终目标,里面涉及具体的迁移方案、解决方案、迁移流程、迁移脚本

2022-03-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除