- 博客(24)
- 收藏
- 关注
RSS订阅转载 转-Elasticsearch的使用场景深入详解置
了解了ES的使用场景，ES的研究、使用、推广才更有价值和意义。#1、场景—：使用Elasticsearch作为主要的后端传统项目中，搜索引擎是部署在成熟的数据存储的顶部，以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的存储或其他经常需要的功能，如统计。这里写图片描述Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。如果你开始一个新项目，我们建议您考虑使用Elasticsearch作为唯一的数据存储，以帮助保持你的设计尽可能简单。此种场景不支持包含频繁更
2021-06-16 11:26:26
181
转载 编写Shell脚本的最佳实践
编写Shell脚本的最佳实践转载：https://blog.mythsman.com/post/5d2ab67ff678ba2eb3bd346f/前言由于工作需要，最近重新开始拾掇shell脚本。虽然绝大部分命令自己平时也经常使用，但是在写成脚本的时候总觉得写的很难看。而且当我在看其他人写的脚本的时候，总觉得难以阅读。毕竟shell脚本这个东西不算是正经的编程语言，他更像是一个工具，用来杂糅不同的程序供我们调用。因此很多人在写的时候也是想到哪里写到哪里，基本上都像是一段超长的main函数，不忍直
2021-05-28 14:13:39
254
原创 ORACLE 数据库重启注意事项
前言曾经接到开发人员求救，由于测试环境速度太慢，尝试通过重启数据库的方式来解决，但是由于当时数据库有很多任务在执行，数据库很久都没有办法停止，之后就经历了多次强制关数据库，重启服务器的操作，最后数据库出现坏块无法启动，由于是测试环境，数据库没有备份，最后只能重建数据库，重新从其它环境获得测试数据，折腾了好几天。本文主要列出重启数据库的注意事项，尽量避免由于重启数据库引起数据库无法启动的情况重启注意事项如果关闭数据库较慢，建议耐心等待，不要频繁对数据库强制关闭，重启服务器的操作，有可能会引起数
2021-05-25 16:49:52
1458
原创 /etc/ansible/hosts的介绍与写法
/etc/ansible/hosts 文件的作用/etc/ansible/hosts 是主机清单配置文件，由 ansible.cfg文件中的 inventory 变量配置，默认值为/etc/ansible/hosts在使用ansible命令前，需要对hosts文件进行相关主机清单配置使用说明1.可以不对主机进行分组，如果不指定分组，需要配置在所有的分组前2.可以对主机进行分组，中括号里包含的名字代表组名3.主机可以使用域名，主机名，ip地址表示，一般以IP居多4.常用内置参数参数名称
2021-05-21 16:36:41
1392
原创 ansible的安装及配置文件介绍
名字解释执行ansible的主机一般称为主控端，中控，master或堡垒机ansible安装1. 命令行查看Python# python --vesionpython 版本需要是2.4以上版本（Python 3.0是不同语言）2. 使用yum安装ansible时，可能会出现没有可用软件包ansible的情况，这个时候需要先安装epel (什么是epel)# yum -y install ansible已加载插件：fastestmirror, langpacksLoading mi
2021-05-20 16:48:20
872
原创 Ansible 简介
ansible是什么Ansible 自动化运维工具中的一种，是一个配置管理和应用部署工具，基于Python研发。集合众多老牌运维工具的优点，实现了批量操作系统配置、批量程序的部署、批量运行命令等功能。Ansible 是AnsibleWorks 公司名下的项目，该公司由 Cobbler 及 Func 的作者于 2012 年创建成立。ansible的优点 ansible融合了众多老牌运维工具的优点 轻量级的工具，只需在主控端部署Ansible环境，无需启动服务，无需在客户端上安装ag
2021-05-20 14:42:05
1425
转载 什么是EPEL?及epel release的安装
转自：http://www.unxmail.com/read.php?67RHEL以及他的衍生发行版如CentOS、Scientific Linux为了稳定，官方的rpm repository提供的rpm包往往是很滞后的，当然了，这样做这是无可厚非的，毕竟这是服务器版本，安全稳定是重点，官方的rpm repository提供的rpm包也不够丰富，很多时候需要自己编译那太辛苦了，而EPEL恰恰可以解决这两方面的问题。什么是EPEL?EPEL的全称叫 Extra Packages for Enterpri
2021-05-20 11:03:48
1741
转载 常见的消息队列中间件介绍
转载自：https://www.cnblogs.com/wuzm/p/11105176.html为什么使用消息队列先说一下消息队列常见的使用场景吧，其实场景有很多，但是比较核心的有 3 个：解耦、异步、削峰。解耦看这么个场景。A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃......mq-1在这个场景中，A 系统跟其它各种乱七八糟的系统严重耦合，A 系统产生一条比较关键的数据，很多.
2021-05-19 14:43:23
120
转载 MySQL数据库安全管理
MySQL数据库安全管理 转载：https://www.cnblogs.com/shamo89/p/10013356.html一、前言对于任何一个企业来说，其数据库系统中所保存数据的安全性无疑是非常重要的，尤其是公司的有些商业数据，可能数据就是公司的根本。 失去了数据，可能就失去了一切 本章将针对mysql的安全相关内容进行较为详细的介绍。二、数据库系统安全相关因素1、外围网络让我们的mysql处在一个有保护的局域网之中，而不是置于开发的公网中。2、主机第二层防线“主机层防
2021-05-11 14:19:50
516
原创 Mysql 数据库安全之审计 - BinLog+ init_connect
前言数据库审计主要用于监视并记录对数据库的各类操作，并记入审计日志或数据库中以便日后进行跟踪、查询、分析，以实现对用户操作的监控和审计。审计是一项非常重要的工作，也是企业数据安全体系的重要组成部分，虽然Mysql企业版自带审计功能，但是需要付费，而Mysql社区版没有审计功能，本文主要介绍简单易用审计方法 Binlog + init_connectBinlog 是指打开mysql的binlog功能，通过分析binlog可以帮助我们在需要时查询数据库做了哪些操作，但是只通过binlog没有办法发现是哪
2021-05-07 16:49:09
1407
2
转载 Oracle 补丁那些事儿(PS、PSU、CPU、SPU、BP、DBBP…)
转自链接：https://www.anbob.com/archives/2870.html当前ORACLE数据库提供两种方式的补丁一种是主动的Proactive Patches和另一种被动的Reactive Patches，其中Reactive Patches是指过去的ONE-OFF Patch，而过去的PSU,SPU/CPU,BP都是Proactive Patches。从12c（12.1.0.2）起数据库又提供了一个名为DBBP的补丁类型，在数据库安装选择补丁时建议是PSU,CPU,DBBP中的一种，
2021-04-28 13:43:04
848
转载 超详细的Canal入门，看这篇就够了！
超详细的Canal入门，看这篇就够了！转自链接：https://blog.youkuaiyun.com/yehongzhi1994/article/details/107880162思维导图文章已收录Github精选，欢迎Star：https://github.com/yehongzhi/learningSummary前言我们都知道一个系统最重要的是数据，数据是保存在数据库里。但是很多时候不单止要保存在数据库中，还要同步保存到Elastic Search、HBase、Redis等等。这时
2021-04-23 17:06:13
455
原创 缩短Oracle数据库迁移过程中的停机时间 - 多次增量恢复
当我们需要进行ORACLE数据库迁移时，如果数据库版本不变，OS不变，通常采用RMAN的方式进行迁移对于生产系统，总是希望停机的时间越少越好，特别是对于大数据量的数据库。如果想缩短数据库迁移的时间，通常有两种方式1. 使用dataguard搭建主备高可用方式，迁移时再切换到备库，速度很快2. 使用RMAN分批增量恢复的方式，这种方式比较适合跨机房迁移，同时网络带宽又没办法满足主备库的日志传输速度，或者不使用dataguard，同时又希望能减少停机时间本文分享的是使用RMAN进行分批增量恢复。
2021-04-14 15:12:34
596
原创 RMAN restore之RMAN-06023:no backup or copy of datafile X found to restore
当我们使用RMAN执行restore时，有时会碰到RMAN-06023: no backup or copy of datafile X found to restore报错分析这个报错的意思是，当数据库执行restore database/datafile时，找不到可用于restore指定文件的备份文件，有时候明明备份文件在指定目录里，就是无法用于restore，我们只要了解相关的原理，问题很好解决当我们执行数据库备份时，oracle默认会把控制文件作为记录这些备份信息的地方（使用了catalo
2021-04-13 15:36:17
2167
原创 Oracle Active Dataguard 之更改服务器IP
背景Oracle 数据库 + Active dataguard + DG Broker主备模式需要更改主备数据库服务器的IP地址，因为不是RAC环境，只有Dataguard配置，只涉及到更改listener.ora和tnsnames.ora文件，重启监听即可，在此做个简单记录测试环境OS: CentOS 7.8Oracle 12.1.0.2原服务器ip: 新服务器ip172.16.79.231 172.16.79.237172.16.79...
2021-04-08 13:48:23
715
1
原创 oracle Active dataguard 报错ORA-16789 备库缺少/错误standby redolog
环境描述Oracle 12.1.0.2 + active Dataguard + DG Broker主库：orcl 备库 orcls问题描述查看Dg broker 状态时，发现备库错误DGMGRL> show configuration; Warning: ORA-16809: multiple warnings detected for the databaseDGMGRL> show database verbose orcls..... Databas...
2021-04-08 13:38:30
1205
原创 ORACLE Active DataGuard + Dg Broker + Global Service Name配置步骤
**********************环境说明Node Name: Nodename DB_NAME DB_UNIQUE_NAME172.16.79.231 node1 orcl orcl172.16.79.232 node2 orcl orcls数据库版本：oracle 12.1.0.2OS: Linux 7.8*********...
2021-04-07 17:27:18
335
原创 mysql8之SSL加密
新发现：安装Mysql8后，查看datadir, 文件多了不少，发现都是SSL加密对应得文件*.pem# pwd;ls -l *.pem/data/mysqldata-rw------- 1 mysql mysql 1676 3月 30 11:25 ca-key.pem-rw-r--r-- 1 mysql mysql 1112 3月 30 11:25 ca.pem-rw-r--r-- 1 mysql mysql 1112 3月 30 11:25 client-cert.pem-rw-...
2021-03-30 17:33:24
1017
原创 mysql8 - Authentication plugin ‘caching_sha2_password‘ cannot be loaded 原因及解决办法
现象：安装mysql8后尝试进行远程连接，报以下错误$ mysql -utestusr -h172.16.79.232 -pEnter password:ERROR 2059 (HY000): Authentication plugin 'caching_sha2_password' cannot be loaded: /usr/local/mysql/lib/plugin/caching_sha2_password.so: cannot open shared object file: No su
2021-03-30 15:39:36
2312
2
原创 迁移小技巧-结合split命令进行数据库迁移
使用场景： 使用pg_dump或者mysqldump 对某个库进行导出,如果需要通过移动硬盘拷贝或者网络方式进行传输，如果导出文件太大，可能会导致传输到一半出现失速或者突然中断的情况，增加了迁移的时间解决办法： 可以通过把导出文件分割成小文件的方式来解决，以下以PostgreSQL pg_dump迁移为例1. pg_dump对库进行导出pg_dump -U postgres -C -F p -b -v -f /mnt/pgbak/testdb.sql testdb2. 对...
2021-03-15 17:49:17
340
原创 mysql Show Slave Hosts - host列为空
问题说明：Mysql搭建好主从复制后，在主库执行show slave hosts命令时，host列为空主库查询解决办法：show slave hosts命令显示备库信息，HOST显示为空，需要在备库/etc/my.cnf文件中设置report-host参数备库：# vi /etc/my.cnfreport-host=<备库ip>重启备库# systemctl restart mysqld主库查询：问题解决...
2021-02-26 16:10:29
1302
原创 监控系统 telnet 3306端口引起的 [Note] Got an error reading communication packets
问题描述：最近一段时间数据库日志每隔5分钟报 [Note] Got an error reading communication packetstail -f mysqld.log问题分析：这个报错出现的频率这么规律，初步猜测是定期脚本执行或者监控系统连接引起的可能性比较大由于日志里能提供的信息很少，而引起该报错的可能原因也很多，首先想到的是先定位连接的客户端，然后再来分析可能的原因，于是通过查询数据库来定位问题performance_schema.host_cache表提供对主机缓存
2021-02-24 10:27:04
1435
原创 ORA-4031 ORA-4033 无法手动分配shared memory的解决办法
从Oracle 10g开始，Oracle提供了自动SGA的管理（简称ASMM),开启ASMM后，我们就不再需要设置shared pool、buffer cache、large pool、java pool和stream pool。但是有时候oracle在自动管理分配内存时，有时候会报ORA-4031错误，网上很多文章都是直接为对应的内存池分配空间，但是有时候是无法分配成功的，因为oracle没办法从别的内存池shrink memory，但是生产系统又没有办法重启数据库，本文提供一种方式来解决这个问题。故
2021-01-03 16:15:56
1678
转载 转 - DataGuard中如何配置LOG_ARCHIVE_DEST_n参数
LOG_ARCHIVE_DEST_n参数的作用是设置主库归档日志路径以及重做日志传输。在Dataguard中参数配置比较复杂。在DG配置的示例如下：主库LOG_ARCHIVE_DEST_1='LOCATION=/archivelog/chicago VALID_FOR=(ALL_LOGFILES,ALL_ROLES) DB_UNIQUE_NAME=chicago'LOG_ARCHIVE_DEST_2='SERVICE=boston LGWR SYNC VALID_FOR=(ONLINE_LOGFI
2020-06-26 22:23:22
2416
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人