
database
主要是写自己对关系数据库和非关系型数据库的操作和理解
南星叨叨
这个作者很懒,什么都没留下…
展开
-
MySQL数据多个表导入到elasticsearch
大多数情况下我们的数据都存放在了数据库中,但是elasticsearch它有自己的索引库,那么如果我们在做搜索的是时候就需要将数据库中的数据同步到elasticsearch中在这里我们使用logstash的logstash-jdbc-input的插件进行与数据库的同步,对于logstash与数据库同步,我们可以设置elasticsearch与数据库同步的时间,使用这种方式进行同步还是很方便的。先下载logstash这个就官网下载就行了然后下载驱动这个在MySQL官网就可以下载mysql-con原创 2022-02-28 15:09:39 · 2311 阅读 · 1 评论 -
mysql当前时间加上或减去几个月、分钟、秒
今天正好遇上这个问题 ,业务的需求, 要查询出未来1-3月将要过期的用户信息,刚好找到这个东西,赶紧给记录下来select NOW() # 查询当前时间select DATE_ADD(NOW(), interval 3 MONTH) # 当前时间加3个月函数date_add() 增加date_sub()减少month 月份minute 分钟second 秒那个过期的话,其实就是between and...原创 2022-01-20 18:14:38 · 7163 阅读 · 0 评论 -
简单聊mongodb(1.权限、查询)
MongoDB的权限管理mongodb的用户权限是跟着数据库走的. 除了超级管理员外. 其他管理员只能管理自己的库.创建超级管理员首先, 将数据库调整到admin库.use admindb.createUser({user:"用户名", pwd: "密码", roles:['root']})创建完成后. 需要退出mongodb. 然后修改配置文件:Linuxdbpath=/usr/local/mongodbport=27017logpath=/usr/local/var/log/mon原创 2022-01-10 16:22:38 · 2082 阅读 · 0 评论 -
pt工具(一)归档MySQL数据
mysql pt工具apt-get install percona-toolkitroot@jenkins:~# ptpt-align pt-config-diff pt-find pt-ioprofile pt-pmp pt-slave-find pt-table-sync ptxptar原创 2021-11-11 12:01:54 · 771 阅读 · 1 评论 -
mysql数据误删如何从binlog中恢复?
今天开发兄弟误删了测试数据,问我能不能恢复?我们在binlog里给找到这些数据了 。本来想让他用正则提取一下。后来他说能把这个binlog给转换成sql吗,我就找到这工具了传送门https://github.com/danfengcao/binlog2sql这个东西需要Python2.7或者3.4MySQL 5.6, 5.7正好都满足了然后就给clone下来,然后安装依赖shell> git clone https://github.com/danfengcao/binlog2sql原创 2021-05-26 14:30:29 · 192 阅读 · 0 评论 -
MongoDB中GridFS的文件删除、备份、导入、合并(释放磁盘空间)及重建索引(mongodump/mongorestore/compat/reindex)
首先是关于删除,把之前删除的代码进行了一个改进from pymongo import MongoClientfrom gridfs import *import datetimeclient = MongoClient(host = "172.25.16.176", port=27017)# db = client.mailfiledb = client["mailfile"]gfs = GridFS(db, collection="fs")def deleteFile(): w原创 2020-12-18 15:50:27 · 2415 阅读 · 2 评论 -
redis命令行切换数据库
Redis是0-15个库所以命令行要是切换数据库的话,需要用这个命令切换db通过命令来切换当前的db:select 0,该命令表示切换到第一个数据库。数据库id是从0到15,可以自由切换db,每个db的存储空间是不一样的。当切换db成功时,可以看到当前是使用的哪一个db:127.0.0.1:6379> SELECT 2OK127.0.0.1:6379[2]>...原创 2020-11-25 18:00:40 · 15515 阅读 · 0 评论 -
MongoDB基于GridFS管理文件
前言GridFS是一种将大型文件存储在MongoDB的文件规范:数据库支持以BSON格式保存二进制对象。 但是MongoDB中BSON对象最大不能超过4MB。GridFS 规范提供了一种透明的机制,可以将一个大文件分割成为多个较小的文档。为实现这点,该规范指定了一个将文件分块的标准。每个文件都将在文件集合对象中保存一个元数据对象,一个或多个块对象可被组合保存在一个块集合中。上传文件Shellmongofiles put xxx.txt 常用参数如下: -d 指定数据库原创 2020-11-25 17:58:50 · 306 阅读 · 0 评论 -
mariadb二进制安装部署
安装mariadbtar -zxvf mariadb-10.3.12-linux-x86_64.tar.gzmv mariadb-10.3.12-linux-x86_64 /usr/local/cd /usr/local/ln -s /usr/local/mariadb-10.3.12-linux-x86_64 /usr/local/mariadbchown -R mysql:mysql mariadbchown -R mysql:mysql mariadb-10.3.12-linux-x86_原创 2020-11-17 14:49:17 · 186 阅读 · 0 评论 -
Atlas配置MySQL读写分离
1.简介Atlas是一个位于应用程序与MySQL之间中间件。在后端DB看来,Atlas相当于连接它的客户端,在前端应用看来,Atlas相当于一个DB。Atlas作为服务端与应用程序通讯,它 实现了MySQL的客户端和服务端协议,同时作为客户端与MySQL通讯。它对应用程序 屏蔽了DB的细节,同时为了降低MySQL负担,它还维护了连接池Atlas相对于官方MySQL-Proxy的优势(1).将主流程中所有Lua代码用C重写,Lua仅用于管理接口(2).重写网络模型、线程模型(3).实现了真正意义上的原创 2020-11-17 11:40:09 · 283 阅读 · 0 评论 -
MySQL高可用架构MHA(完整版)
MySQL高可用架构之MHA(完整版)1.准备4台机器,做好以下配置(1)ip与hostname对应关系192.168.100.128 manager.test.com192.168.100.129 master.test.com192.168.100.130 slave01.test.com192.168.100.131 slave02.test.com(2)配置hostname和hosts解析hostnamectl set-hostname manager.test.comhostna原创 2020-11-17 11:31:39 · 583 阅读 · 0 评论 -
不停机MySQL主从复制
没那么多嘻嘻哈哈的,直接上代码就好了1.mysqldump加上关键参数–single-transaction–master-data=2mysqldump -uroot -pxxxxx newcoremail --events --triggers --routines -B --max_allowed_packet=1073741824 --default-character-set=utf8 --skip-tz-utc --single-transaction --master-data=2 &原创 2020-11-17 11:20:39 · 538 阅读 · 0 评论