- 博客(237)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 HDFS:Datanode异常宕机重启后异常datanode.ReplicaAlreadyExistsException
hdfs datanode异常
2022-10-19 21:14:47
634
原创 frp安装测试
用户名为客户端的ssh用户，服务端IP为服务端公网IP，端口号为client配置的端口号6000。frp主要是做内网穿透的，如下，用户可以通过一台有公网的server穿透访问到内网各个应用。Web端地址：http://公网IP:7500/static/#/server_addr = xxxxx #server端IP。token = aaa #与server端保持一致。ssh 用户名@服务端ip -p 端口号。#配置ssh访问client A。...
2022-08-23 19:08:47
620
原创 Kylin:控制台界面数据导出异常问题
Kylin Web数据导出功能异常，数据无法导出如上，为题原因为请求头太大异常日志显示是因为请求头太大，所以我们需要调整Kylin Tomcat请求头大小限制，修改tomcat server.xml配置文件，添加如下配置：修改位置：......
2022-06-13 11:54:20
281
原创 Yarn CGroup启用配置
对于CPU密集型的使用场景，Yarn可以开启CGroup，约束应用程序的CPU使用率验证、启用服务Yarn配置
2022-06-10 10:54:13
431
1
原创 PG 锁类型、级别、死锁解决
文章目录锁类型ACCESS SHAREROW SHAREROW EXCLUSIVESHARE UPDATE EXCLUSIVESHARESHARE ROW EXCLUSIVEEXCLUSIVEACCESS EXCLUSIVE死锁查询死锁处理死锁测试Session ASession BSession CSession DSession E原因结论锁类型ACCESS SHARE1、SELECT产生的锁2、与ACCESS EXCLUSIVE冲突ROW SHARE1、SELECT FOR UPDATE
2022-04-15 15:10:42
3028
原创 PG pg_stat_statements配置
文章目录说明加载pg_stat_statements模块配置pg_stat_statements采样参数重启数据库说明pg_stat_statements插件可以用于统计数据库的资源开销，分析TOP SQL。加载pg_stat_statements模块vi $PGDATA/postgresql.confshared_preload_libraries='pg_stat_statements'如果要跟踪IO消耗的时间，还需要打开如下参数track_io_timing = on设置单条SQL
2022-04-11 17:18:18
1474
原创 Postgresql 表、索引膨胀监控
背景PG数据库表空间膨胀会带来空间资源浪费，所以需要监控数据库表膨胀浪费空间前10的表，及时清理。查询表膨胀情况select datname from pg_database where datname not in ($$template0$$, $$template1$$)'` do psql -d $db --pset=pager=off -q -x -c 'SELECT current_database() AS db, schemaname, tablename, relt
2022-04-11 13:59:37
1581
原创 Postresql 数据库年龄
文章目录背景查看数据库年龄自动处理机制查看表的年龄清理方式背景由于PG的事务数量是有上限的，新老事务之间的年龄超过最大值之后必须要冻结，所以要及时监控，及时处理查看数据库年龄监控数据库年龄，及时清理select datname,age(datfrozenxid) from pg_database order by 2 desc;自动处理机制同一个数据库中，存在的最旧和最新两个事务之间的年龄最多是2^31，即20亿，当表的年龄大于autovacuum_freeze_max_age时（默认是2
2022-04-11 10:33:18
3796
原创 CDH节点扩充
标题配置节点免密SSH1、生成私钥、公钥2、配置集群节点间免密ssh修改authorized_keys粘贴复制每台节点的pub key到authorized_keys（每台节点都需要操作）修改配置/etc/hosts3、测试验证配置java环境变量安装JDK环境1、下载安装包2、创建安装目录mkdir -p /usr/lib/jvm/3、解压安装tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/lib/jvm/配
2022-02-28 12:43:48
2273
原创 kylin 查看、删除Segment
从Cube中获取Segment信息curl -X GET --user ADMIN:KYLIN -H "Content-Type: application/json;charset=utf-8" http://localhost:7070/kylin/api/cubes/w_ir_bu_v01_01删除Segmentcurl -X DELETE --user ADMIN:KYLIN -H "Content-Type: application/json;charset=utf-8" http://
2022-01-14 15:12:48
779
原创 Postgresql 备份数据库
文章目录备份表结构备份表结构、数据恢复数据库备份表结构pg_dump -U postgres -d shopforce -f shopforce.sql -s备份表结构、数据pg_dump -U postgres -d shopforce -f shopforce.sql恢复数据库psql -d shopforce -U postgres -f shopforce.sql...
2021-12-07 14:49:59
1319
原创 Kylin：删除异常Model、Cube
文章目录简介确定元数据存储位置关于kylin_metadata表存储元数据的RowKey设计方式查询并删除异常的Model、Cube在Kylin Web重新加载元数据简介之前因为cube迁移出现异常，导致迁移目标环境部分Model、Cube无法在界面正常删除，现采用以下方案删除异常的Model、Cube。由于界面无法删除，所以针对类似的Model、Cube，我们直接在元数据层删除，删除操作如下：确定元数据存储位置当前Kylin环境元数据存储没有做定制化修改，所以默认存放在HBase存放元数据的H
2021-11-05 15:12:09
1599
2
原创 Postgresql:杀进程
pg_cancel_backend()只能关闭当前用户下的后台进程向后台发送SIGINT信号，用于关闭事务，此时session还在，并且事务回滚pg_terminate_backend()需要superuser权限，可以关闭所有的后台进程向后台发送SIGTERM信号，用于关闭事务，此时session也会被关闭，并且事务回滚...
2021-10-27 14:21:34
2815
原创 Zeppelin Job monitor打开
默认情况Zeppelin关闭Job monitor功能，打开该功能，打开如下参数：<property> <name>zeppelin.jobmanager.enable</name> <value>true</value> <description>The Job tab in zeppelin page seems not so useful instead it cost lots of memory and affe
2021-10-25 17:43:42
474
原创 Flink Sql 窗口聚合触发配置
flink:1.11默认情况下，Flink Sql的窗口聚合在窗口结束时触发计算，如果需要实时计算，刷新计算结果，需添加如下配置： TableConfig config = bbTableEnv.getConfig(); config.getConfiguration().setBoolean("table.exec.emit.early-fire.enabled", true); config.getConfiguration().setString("table.exec.emit.earl.
2021-10-24 18:10:08
3835
原创 Kylin Error:Cannot start job scheduler due to lack of job lock
文章目录Kylin 启动异常问题原因解决Kylin 启动异常错误日志如下：2021-10-18 09:34:23,210 DEBUG [localhost-startStop-1] zookeeper.ZookeeperDistributedLock:101 : 71583@gapuat01 trying to lock /job_engine/global_job_engine_lock2021-10-18 09:34:23,236 DEBUG [localhost-startStop-1] zo
2021-10-18 11:44:36
734
原创 Phoenix异步索引创建Error:java.lang.NoClassDefFoundError: com/lmax/disruptor/EventFactory
Hbase:1.4Phoenix:4.14Phoenix异步创建索引异常：java.lang.NoClassDefFoundError: com/lmax/disruptor/EventFactory解决：需要吧phoenix-client.jar放到hbase/lib下
2021-10-08 16:45:07
853
1
原创 Postgresql审计：pgaudit安装使用
Postgresql:10pgaudit:v1.2文章目录编译安装参数配置说明pgaudit.log:pgaudit.log_client:pgaudit.log_level:pgaudit.log_parameter:pgaudit.role:参考编译安装1、clone插件git clone https://github.com/pgaudit/pgaudit.git2、Change to pgAudit directory:cd pgaudit3、Checkout postgre.
2021-09-30 16:51:16
1536
原创 Kafka节点扩容、缩容后reassign partition
文章目录简介kafka-reassign-partitions使用简介kafka节点扩容、缩容后，需要reassign partition replica，kafka-reassign-partitions使用–generate 生成partition replica分配计划 ./kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topic.json --broker-list
2021-09-30 14:29:25
769
转载 PostgreSQL VACUUM 和 ANALYZE 最佳实践技巧
文章目录简介技巧 1：不要无故运行手动 VACUUM 或 ANALYZE技巧 2：微调 Autovacuum 阈值技巧 3：微调自动分析阈值技巧 4：微调 Autovacuum Worker最后的想法简介VACUUM 和 ANALYZE 是两个最重要的 PostgreSQL 数据库维护操作。VACUUM用于恢复表中“死元组”占用的空间。当记录被删除或更新（删除后插入）时，会创建一个死元组。PostgreSQL 不会从表中物理删除旧行，而是在其上放置一个“标记”，以便查询不会返回该行。当vacuum进程
2021-09-29 15:07:41
9601
转载 POSTGRESQL: 获取成员角色和权限
文章目录简要准备用户和角色解决PostgreSQL中的用户和角色成员资格简要PostgreSQL提供了一个高度复杂和强大的安全权限系统。它允许您定义用户（=角色）、组等。然而如果没有图形用户界面，通常要想知道分配给哪个角色有点棘手。下面的博客文章解释了如何做到这一点。了解如何检索PostgreSQL中角色和角色成员身份的信息。准备用户和角色为了展示如何分析用户，我们首先创建几个用户和角色：CREATE USER a;CREATE USER b;CREATE ROLE c LOGIN;CREA
2021-09-27 10:33:26
2609
原创 Nginx Error:HTTP 1.0 client does not support chunked response
文章目录问题解决问题Nginx跳转error: Unexpected exception[ServerResultException: HTTP 1.0 client does not support chunked response]解决添加配置：proxy_http_version 1.1;
2021-09-15 17:21:08
1263
原创 Apache Flink: savepoint Operations
Flink版本：1.11.1以下操作基于hadoop yarn文章目录查看Job信息保存一个savepointcancel生成savepoint带savepoint重启job查看Job信息flink list yarn-cluster -yid application_1629715128130_0031保存一个savepointflink savepoint 6eb006988b9ab8ca1feb180c04091d98 hdfs://hadoop102.dev:8020/flink.
2021-09-02 19:30:52
122
原创 Apache Iceberg 分区表探索与实践
组件版本组件版本Apache Iceberg0.11Apache Hive2.1.0Apache Spark3.0Apache Flink1.11文章目录简介测试分区表功能建表写入数据重写指定分区重写动态分区简介本篇介绍Apache Icerberg分区表自己的一些探索与实践，包括建表、数据写入、重写分区、删除分区、添加分区，数据链路操作设计如下图：备注：创建分区表、修改标属性：使用Hive批量写入数据、重写分区：使用Spark实时计算.
2021-09-02 11:33:06
2226
2
原创 Apache Beeline for Iceberg配置
组件版本：Iceberg:0.11.0Hive Beeline:2.1.0文章目录简介修改配置文件配置Beeline环境变量测试验证简介配置Iceberg on Hive修改配置文件修改hive-site.xml，添加如下配置：<property><name>iceberg.mr.catalog</name><value>hive</value></property><property><.
2021-08-23 19:22:16
409
原创 PowerDesigner 批量添加字段
PowerDesigner:16文章目录简介脚本执行添加简介PowerDesigner 通过脚本对表模型批量添加字段脚本Option Explicit Dim mdl ' the current modelSet mdl = ActiveModelDim Tab 'running tableDim col_1 Dim col_2 Dim col_3 Dim col_4 Dim col_5 ' 定义属性变量for each Tab in ActiveModel.Tab.
2021-08-04 11:01:19
2570
1
原创 Postgresql 12：分库分表（pg_fdw方式）
备注：1、当前分库分表方式在PG 10及以下版本，写入数据需要分开逐个数据库写入，通过主表写入数据，由于PG1以下版本不支持insert2、foreign table，所以无法路由写入分库表 PG11及以上版本支持所有数据均可通过主表写入3、PG11以下版本创建索引时，需要每个分区单独创建，PG11及以上版本支持基于主表的一次性创建简介分表：通过创建分区表的形式进行分表https://www.postgresql.org/docs/12/ddl-partitioning.html分.
2021-07-26 11:25:49
6435
原创 Postgresql:pg_activity安装使用
Ubuntu:16.04Python:3.6python 3安装：https://gaokaiyang.blog.youkuaiyun.com/article/details/80419441参考：https://github.com/dalibo/pg_activity文章目录简介安装使用Help交互命令简介pg_activity是Postgresql的一个监控工具，类似于系统的top命令安装pg_activity依赖于Python3，所以需要先安装Python3:https://gaokaiy.
2021-07-14 11:52:42
949
原创 Postgresql: 流复制出现delay
文章目录问题原因解决问题Postgresql Logical Replication 出现延迟、停滞现象原因max_wal_senders参数配置数量过少，在处理大量事务请求时，并且数据库本身有多个流复制并行执行时，max_wal_senders不够用，导致个别流复制出现延迟、停滞现象解决适当调大max_wal_senders数量，重启数据库使配置生效...
2021-07-13 16:23:09
739
空空如也
求助：kettle连接cdh510-hbase报错问题
2017-07-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人