自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zhouwhui 的博客

新手小白的经验

  • 博客(50)
  • 资源 (6)
  • 问答 (3)
  • 收藏
  • 关注

原创 【openGauss】物理备份恢复

数据库物理备份是指直接备份数据库的物理文件,包括数据文件、日志文件、控制文件等,而不是通过逻辑方式(如SQL语句)导出数据。物理备份是对数据库底层文件的完整复制,通常用于快速恢复数据库到某个时间点的状态。物理备份的特点。

2025-03-13 16:15:20 1173

原创 【openGauss】扩容与减容

在openGauss 6.0.0版本中扩容支持使用omm用户,脱离了对root用户的依赖,6.0以下的版本均需要使用root执行扩容,使用root执行步骤参考方法一,使用omm执行步骤参考方法二。当前实验环境,有两个节点,节点信息如下,且两个节点中均使用相同的用户:用户组安装的数据库,此案例中使用的用户为omm,用户组属于dbgrp。使用omm用户登录到主节点,编辑一个文件,文件中填写需要建立互信的主机ip信息,一个主机占一行。使用omm用户登录到主节点上,指定节点删除命令,实现减容。

2025-02-15 10:20:10 906

原创 【openGauss】6.0.0企业版单节点安装,配置刷新

当通过运维工具查看到的配置信息与实际信息不一致时修改xml文件,使用gs_om刷新配置。基于xml文件重新生成postgres.conf配置文件,并用该文件替换旧文件。安装成功后系统会自动启动数据库,可以使用gs_om工具查询,当前数据库状态。编辑安装时使用的xml文件,将ip修改为正确ip。右键–>【获取下载链接】,注意修改主机名,和ip地址。

2025-02-15 10:19:29 466

原创 【openGauss】inherits父表与子表

Inherit用于设置表的继承,继承表的子表可以完全继承父表结构,也可以在父表结构的基础上添加字段,并且可以继承多父表或进行次级继承。继承表有一个可设置的guc参数sql_inheritance(默认为on),它控制父表的操作是否可以访问子表,默认情况下父表可以查询包含子表在内的所有数据,关闭它时父表的只能查询/更新自己。

2025-02-07 13:03:48 677

原创 【openGauss】检查工具gs_check,gs_checkperf的应用

在openGauss中支持用户自定义检查项与检查场景,自定义检查场景配置在xml文件中(文件名必须是scene_XXX.xml)-- 检查CPU使用率 --> < item name = " CheckCPU " /> < item name = " CheckCpuCount " /> < item name = " CheckFirewall " />

2024-09-12 10:56:44 1649

原创 【openGauss】WDR快照无法生成或执行生成不报错,但是snapshot.snapshot为空的问题

WDR快照无法生成或执行生成后查不到快照,开启enable_wdr_snapshot后再snapshot.snapshot中差不多任何快照信息。配置完成后,使用gsql重新连接数据库,查询snapshot.snapshot就可以查看到快照信息了。用ip a可以查本机ip,验证一下本机ip是否为报错中提示的“172.16.1.147”可以手动打开pg_hba.conf配置文件查看是否确实没有本机IP配置。

2024-09-12 10:44:42 543

原创 【openGauss】openEuler 22.03 LTS 安装了openGauss数据库后yum不可用

openEuler安装openGauss后yum不可用,使用yum出现报错ImportError: /opt/software/om/script/gspylib/clib/libstdc++.so.6: version `GLIBCXX_3.4.26' not found (required by /usr/lib64/libdnf.so.2)、ImportError: /usr/lib64/libldap.so.2: undefined symbol: EVP_md2, version OPENSSL_

2024-01-29 15:06:43 1931

原创 【openGauss】数据库存储过程与触发器的应用

自定义函数的整体语法与存储过程类似,但有些区别:(1)数据库默认兼容的是Oracle,所以默认自定义函数必须要有返回值,存储过程不需要返回值。(2)数据库兼容模式为Oracle时,自定义函数支持IN/OUT/INOUT模式的参数。(3)存储过程的调用使用call,自定义函数的调用使用select。(4)自定义函数可用于触发器。

2024-01-19 12:17:48 2066

原创 【openGauss】启动异常 [GAUSS-53600] DETAIL: Permissions should be u=rwx (0700).

[GAUSS-51607] : Failed to start instance. Error: Please check the gs_ctl log for failure details..0 [unknown] 140590081585088 [unknown] 0 dn_6001 55000 0 [BACKEND] FATAL: data directory "/opt/software/install/data/dn" has group or world access [unknown]

2023-10-25 10:42:37 2046 3

原创 【openGauss】一主一备实现主备节点切换实验(switchover、failover)

openGauss在运行过程中,数据库管理员可能需要手工对数据库节点做主备切换。例如发现数据库节点主备failover后需要恢复原有的主备角色,或怀疑硬件故障需要手动进行主备切换。级联备机不能直接转换为主机,只能先通过switchover或者failover成为备机,然后再切换为主机。(级联备机:与主机直接交互进行数据同步的称为一级备机,通过与一级备机实现数据同步的属于二级备机,也叫级联备机)

2023-10-25 09:39:41 1892

原创 【openGauss】启动异常 [GAUSS-53600][GAUSS-51607] FATAL: could not create listen socket for “192.168.

[GAUSS-51607] : Failed to start instance. Error: Please check the gs_ctl log for failure details..0 LOG: [Alarm Module]can not read GAUSS_WARNING_TYPE env.0 LOG: [Alarm Module]Host IP: openEuler. Copy hostname directly in case of taking 10s to use 'getho

2023-10-19 19:41:03 3494 5

原创 【openGauss】分区表的介绍与使用

在openGauss中,数据分区是在一个节点内部对数据按照用户指定的策略做进一步的水平分表,将表中的数据按照指定方式划分为多个互不重叠的部分。改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,提高检索效率。增强可用性:如果分区表的某个分区出现故障,表在其他分区的数据仍然可用。方便维护:如果分区表的某个分区出现故障,需要修复数据,只修复该分区即可。均衡I/O:可以把不同的分区映射到不同的磁盘以平衡I/O,改善整个系统性能。

2023-08-09 19:38:52 1746

原创 【Hive】Centos7安装单机版Hive

在centos7中安装hive,单机版安装,包含安装mysql在内

2023-07-21 15:31:51 741

原创 【openGauss】openGauss逻辑备份恢复

可以将文本数据作为数据源导入到数据表中,也可以将数据表或查询结果导出到指定的文件中。

2023-07-07 10:31:23 1100

原创 【openGauss】启动异常 FATAL: could not create shared memory segment: Cannot allocate memory

在启动openGauss时可能会出现 FATAL: could not create shared memory segment: Cannot allocate memory 异常,原因是因为内存空间不足的问题。首先查看配置文件 postgresql.conf 中原本所配置的 shared_buffers 大小为多少,根据原定大小做更改。根据上图已知,目前要求大小为1GB,可以将该大小更改为512MB,配置更改命令如下(解决办法,更改配置中要求的空间大小。

2023-04-25 11:17:49 1582 4

原创 【Flink】流执行引擎中的Table API与SQL应用(3.将Table数据输出到csv文件中 )

Flink(基于Java编程语言)实现Table API应用,将Flink表数据输出写入csv文件

2023-04-01 10:00:00 534

原创 【Flink】流执行引擎中的Table API与SQL应用(2.将DataStream中的数据写入Flink表中 )

Flink(基于Java编程语言)实现Flink Table API应用,将DataStream中的数据写入Flink表中

2023-03-31 10:00:00 258

原创 【Flink】流执行引擎中的Table API与SQL应用(1.从CSV中获取数据并通过筛选后打印在控制台 )

Flink(基于Java编程语言)实现从CSV读取数据,并将数据写入Flink表中。TableSource 目前仅支持 CsvTableSource一种,也就是想要从数据源获取数据写入表时,只有csv文件可以直接使用TableSource进行读取,其他都需要。

2023-03-30 17:00:57 627

原创 【openGauss】账本机制与闪回特性使用

对防篡改账本表进行数据增、删、改操作,系统会在历史表和全局表中记录行级数据变化追溯信息,操作的追溯信息,并通过密码学算法生成校验信息。通过对校验信息的保护、比对、验证,起到对重要数据的完整性保护,识别、阻止未授权更改。

2023-03-22 16:43:28 519

原创 【openGauss】在openEuler(ARM架构)上安装openGauss(一主两备含CM版)

在openEuler-20.03-LTS系统上进行openGauss 3.0.0企业版的一主两备安装,除此之外配置了openGauss3.0.0新增的CM模块,并使用CM模块实现简单的集群管理

2023-01-09 15:42:33 3280 2

原创 【openGauss】在openEuler(ARM架构)上安装openGauss(一主一备)

在openEuler-20.03-LTS 系统上安装 openGauss 3.0.0企业版一主一备版

2023-01-09 15:25:48 2025

原创 【openGauss】在openEuler(ARM架构)上安装openGauss(单机版)

openGauss3.0.0 企业版在 openEuler 20.03LTS 上的单机版安装

2023-01-09 15:06:28 1466

原创 【Python】流程控制与字符串案例集锦

Python流程与控制+字符串操作案例寂集锦包含回文数、阿姆斯特朗数(自幂数)、水仙花数、完数、素数(质数)、排列组合、数据加密(自定义加密规则)、数据解密、最大公约数、最小公倍数、猴子分桃

2022-10-10 17:22:00 1102

原创 【Python】九九乘法表各造型合集

Python使用for循环实现九九乘法表,倒三角九九九乘法表,右对齐九九乘法表

2022-10-10 15:39:02 1501

原创 【Maven】Windows安装Maven

Maven是一个项目对象模型,主要用于做项目管理的工具软件,可以很方便的管理项目所需依赖 jar 文件,只需要在 pom.xml 文件中添加对应的 jar 依赖,即可将 jar 文件

2022-06-21 10:22:20 305

原创 【Maven】IDEA(IntelliJ IDEA)创建Maven项目及项目打包(jar)

maven项目创建、jar打包、idea创建maven、idea打包jar

2022-05-30 11:50:00 2697

原创 【Storm】JavaAPI处理词频统计案例

【Storm】JavaAPI处理词频统计案例在 Storm 中一个拓扑由一个Spout和多个Bolt组成,Spout主要做接收数据、数据分发的工作,Bolt主要做数据处理。1. 案例处理流程,2. 业务处理代码

2022-05-27 22:14:53 1326

原创 【Flink】安装Flink集群(3台主机)

Flink的安装1.解压将下载好的Flink文件上传到Hadoop集群中的master节点tar -xvf flink-1.6.1-bin-hadoop27-scala_2.11.tgz -C /home/hadoop/2.修改配置文件flink-conf.yaml原本为:localhostjobmanager.rpc.address: localhost修改为主节点主机名jobmanager.rpc.address: master3.修改配置文件slaves文件将原本的lcoalh

2022-03-18 17:52:03 2287

原创 【HBase】安装HBase集群(3台主机)

安装HBase集群(3台主机)

2022-03-18 17:43:07 4089

原创 【ZooKeeper】安装ZooKeeper集群(3台主机)

3台主机安装ZooKeeper集群

2022-03-18 17:36:49 1858

原创 【Hadoop】安装Hadoop集群(3台主机)

安装hadoop集群(未配置高可用HA),安全分布式(使用了3台主机,主机名分别是master、slave1、slave2)

2022-03-18 17:29:08 1850

原创 【Python】将两个列表内容合并成一个字典

将两个列表内容合并成一个字典keys = ['A', 'B', 'C']values = ['blue', 'red', 'bold']有 3 种方法可以将这两个列表转换为字典1.使用Python zip、dict函数dict1 = dict(zip(keys, values))2. 使用带有字典推导式的 zip 函数dict2 = {key:value for key, value in zip(keys, values)}3.循环使用zip函数items_tuples = zi

2021-10-12 10:57:38 14986

原创 【Python】正则表达式 re 库的常见使用

正则表达式1. 正则表达式特殊字符^ 匹配最后面,即^后一个字符在要匹配的字符串中是第一个,否则返回空列表 $ 匹配最后面,即$前一个字符在要匹配的字符串中是最后一个,否则返回空列表 . 匹配任意单个字符,即可用 . 进行占位,例:a.b —> 可匹配 abb,acb,a1b等? 匹配之前项的1次或者0次,即?可匹配前一个字符也可不匹配,如 ab? —> 可匹配 a 也被匹

2021-07-25 21:34:17 1242

原创 【Kafka】Kafka单机版组件的安装、使用

【流数据处理】Kafka组件的安装、使用登录Apache官网或国内镜像(清华镜像:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka)下载Kafka的压缩包到本地新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLow

2021-07-01 13:00:19 644

原创 【Python图形绘制】使用turtle库实现美国队长盾牌

1. 引入 turtle 库import turtleturtle 库属于 Python 中的标准库,所以使用前不需要安装,直接进行引入即可使用2. 绘制同心圆#红色的圆,外圈的圆t.color("red","red")t.begin_fill()t.circle(150,360)t.end_fill()#黄色t.pu()#回到红色圆的圆心t.left(90) #向左旋转90°t.fd(150) #前进150px#画笔起始位置,为了达到两个圆的圆心重叠t.right(90

2020-09-08 15:48:23 3920

原创 【Python库】wordclound词云图库的安装及引用

1. 使用whl文件(1)下载登录网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud根据Python版本,以及系统版本找到对应的文件进行下载如以上文件分别对应,Python3.8.x版本(cp38),Windows64位(win_amd64)(2)安装在文件放到文件夹后在cmd中进入到该文件所属文件夹中,然后使用以下命令进行安装就可以了pip install wordcloud-1.7.0-cp38-cp38-w

2020-09-01 11:37:12 2441

原创 【Python爬虫】 XPath 与 selector 的 获取

xpath的值在网页中获取方式:1. 首先可以使用以下三种方式中的任意一种打开浏览器的开发者模式(1). 右键“检查”(2). ctrl+shifft+i(3). 浏览器“设置” --> "更多工具" --> “开发者工具”使用下图(浏览器开发者模式)中的图标可选择浏览器中想要获取的内容2. 在网页上选中想要获取的内容,开发者工具中会高亮显示对应的内容源码,如下图所示3. 在开发者模式中找到对应的内容后点击右键 ---> Copy ---> ...

2020-08-20 20:17:35 6616

原创 【Python爬虫】 lxml 与 Beautiful Soup 解析网页代码的不同方式

1. 使用 lxml 解析(1). 首先,使用 lxml 做解析时需要先安装 lxml 库,并且用于解析的方法在 lxml 库中的 etree 类中,所以在使用时我们引入的是:from lxml import etree(2). 在实际解析时的操作为,如下所示:# response.text 为响应的网页源码内容content = etree.HTML(response.text)(3). 在实际获取某一部分元素内容时,先获取到元素的 xpath,然后将 xpath 值放到 ...

2020-08-20 20:01:28 1608

原创 【Python爬虫】 爬取商品图片并下载

【Python爬虫】 爬取图片并下载。

2020-08-10 11:47:34 2104 2

原创 【Python可视化】 将 bilibili 弹幕进行可视化(词云图)

获取到bilibili视频弹幕后存储到txt文件中,本篇博文将txt文件中的博文做一个可视化的展示,可视化的方式采用了词云图的方式

2020-08-10 11:33:08 1882

install-redhat-td-agent2.sh

可安装在 Redhat 或 Centos 系统中的 Fluentd 采集工具,下载后只需将该文件上传到系统中,如果文件没有执行权限,通过命令“chmod 777 install-redhat-td-agent2.sh”即可执行。 安装时只需要执行该文件即可安装。

2022-07-20

HBase JavaAPI开发

此案例使用的是IDEA开发工具,项目属于maven项目 使用JavaAPI实现HBase的ddl(创建表、删除表、修改表(添加列族等))、dml(添加数据、删除数据)、dql(查询数据(get、scan))等操作 除此之外还包含一些其他操作:命名空间的应用、快照的应用等 对应(《HBase分布式存储系统应用》胡鑫喆 张志刚著)教材中案例

2022-06-21

HBase与MapReduce处理操作(基于JavaAPI)

此案例使用的是IDEA开发工具,项目属于maven项目 该案例中主要使用MapReduce作为处理组件进行数据处理,实现的案例有如通过javaapi实现hbase数据写入hdfs、hbase表数据复制到另一个表中等操作 对应(《HBase分布式存储系统应用》胡鑫喆 张志刚著)教材中案例

2022-05-30

Flink+Kafka的JavaAPI应用

此案例使用的是IDEA开发工具,项目属于maven项目 使用JavaAPI操作Flink的流处理,Flink从Kafka中获取数据,执行处理后再执行输出。 根据(《Flink入门与实战》徐葳著)教材最后的综合案例改变,适合没有学习不会使用Flume的人使用

2022-05-30

Flink JavaAPI开发

此案例使用的是IDEA开发工具,项目属于maven项目 使用Flink JavaAPI实现的流处理、批处理(其中还包括Table API的使用和SQL API的使用),主要针对(《Flink入门与实战》徐葳著)教材中的实验使用

2022-05-30

Storm API实现词频统计

此案例使用的是IDEA开发工具,项目属于maven项目 该词频统计案例中,数据源是自动产生的(java程序自定义生成的),针对自定义生成的数据完成词频统计,完成后打包上传到storm程序中执行

2022-05-30

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除