Bertram的博客

一、ClickHouse是什么？ClickHouse是近年来备受关注的开源列式数据库，主要用于数据分析（OLAP）领域，由俄罗斯最大的搜索引擎公司Yandex（相当国内的百度）于2016年开源。Yandex有着许多数据分析的业务，其中数据量最大的业务，就是Yandex.Metrica（相当于百度的百度统计），这也就是ClickHouse出现的原因。由于其出色的性能，近年来发展非常迅猛，国内很多大厂都在生产环境中广泛使用。ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。

主从切换技术的方法是：当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方式，更多时候，我们优先考虑哨兵模式。一、哨兵模式概述哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行，其原理是 哨兵通过发送命令，等待redis服务器响应，从而监控运行的多个redis实例。 这里的哨兵有两个作用通过发送命令，让Redis服务器返回监控其运行状态，包括主服务器和从服务器。当

目录一. 需重启修改redis的密码二.不重启redis修改密码三.登录有密码的redis四. 高可用模式 master 有密码,slave配置一. 需重启修改redis的密码总共2个步骤：a.在配置文件中有个参数： requirepass 这个就是配置redis访问密码的参数。比如 requirepass uo8Rf9gCVpO8tejDb.配置文件中参数生效需要重启重启redis 。二.不重启redis修改密码a. 在配置文件中配置requirepass的密码（当.

安装Redis使用make命令报异常

自建 Redis 中设置 ACL 用户和权限

redis监听key失效

Redis Lua Script 溢出漏洞（CVE-2024-31449）

redis设置主从，在从服务器上运行# slaveof <主服务器的IP> <主服务器redis的端口>127.0.0.1:6379> SLAVEOF 192.168.0.164 6379报master节点为挂机状态，检查是正常运行发现是从不能连上主，再看从的日志时查看报错20364:S 29 Mar 17:10:41.841 # Unexpected reply to PSYNC from master: -NOAUTH Authentication requi

elasticsearch是5.2.2版本 需要下载与Elasticsearch版本相同的kibana。1、Kibana相关操作[root@test-01 ~]# wget https://artifacts.elastic.co/downloads/kibana/kibana-5.2.2-linux-x86_64.tar.gz[root@test-01 ~]# tar zxf kibana-5.2.2-linux-x86_64.tar.gz[root@test-01 ~]# mv kibana.

部署ELK+Kafka+Filebeat日志收集分析系统需求背景：业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不方便运营人员需要一些数据，需要我们运维到服务器上分析日志1、环境准备1.1 环境规划环境准备的机器IP地址主机名部署服务192.168.1.128es-01elasticsearch、kibana、 logstash192.168.1.12

轻松迁移 Elasticsearch 数据：如何将自建索引导出并导入到另一个实例

概要在elasticsearch中有30天的试用期，我找到网上大神的一些文章，试用了之后发现可以进行破解使用，整个过程比较简单，特此写下笔记http://ip:9100/?auth_user=elastic&auth_password=123456现在发现都访问不了，查了下日志才发现，我的license过期啦！ 这时我才想起来x-pack好像是收费的。破解x-pack我的版本是x-pack-5.2.2，在elasticsearch插件中找到x-pack-5.2.2.jar，拷贝到其他目

elasticsearch7.x 设置默认副本 和默认分片number_of_shards每个索引的主分片数，默认值是 5 。这个配置在索引创建后不能修改。number_of_replicas每个主分片的副本数，默认值是 1 。对于活动的索引库，这个配置可以随时修改。修改现有的副本数为0: 现存所有索引副本数变为0命令行运行curl -X PUT "192.xxx.x.xxx:9200/_settings" -H 'Content-Type: application/json' -d '{"

1、序言Elasticsearch默认配置是数据持久化的，就是ES会定时地把缓存数据刷新到硬盘，从而达到数据持久化地效果。在生产环境中，ES的数据持久化是必须的，防止出现断电时数据的丢失。固然，除了数据持久化外，咱们也是得作到数据备份的，防止出现数据损坏时没法恢复数据的状况。下面开始介绍ES的数据备份和恢复。2、ES环境在开始ES的数据备份和恢复以前，咱们得确保服务器的ES环境时搭建好的，这里就很少作介绍了，如有不懂的能够查看这篇ES入门文章了解下：https://blog.youkuaiyun.com/qq

Eleastisearch5.2.2利用镜像迁移构建实例后ES非健康状态

简介ElasticSearh作为目前比较流行的全文搜索引擎。目前使用的公司以及个人比较多。其是基于RESTful web接口使用java语言开发，其能够达到实时搜索，稳定，可靠，快速，安装使用方便。本篇简单介绍下如何在linux系统上进行安装配置。安装环境1. 操作系统：CentOS 7.42. 安装Elasticsearch前提条件：JDK1.8及以上，我这里使用的版本是 jdk1.8.0_1813. 目前Elasticsearch最新的版本是 7.5.1，我这里使用的版本是 5...

给ElasticSearch引擎配置慢查询日志，可以实时监控搜索过慢的日志。虽然ElasticSearch以快速搜索而出名，但随着数据量的进一步增大或是服务器的一些性能问题，会有可能出现慢查询的情况。慢查询日志可以帮助你快速定位到是什么 Index 和 语句 过慢。甚至还可以用 Opster Search Log Analyzer 分析你的慢查询日志，Opster Search Log Analyzer 还会针对你的慢查询日志提供专门的优化建议。默认情况下，慢查询日志打印功能是关闭的。你可以通过设置查询的

使用elasticdump这是一个nodejs的插件，安装方式直接使用 npm即可导出索引的格式#格式：elasticdump --input {protocol}://{host}:{port}/{index} --output ./test_index.json#例子：将ES中的test_index 中的索引导出#导出当前索引的mapping结构$ elasticdump --input http://192.168.56.104:9200/test_index --output ./tes

ElasticSearch使用head插件npm install 速度慢问题一、先下载安装nodejswget https://nodejs.org/dist/v12.18.1/node-v12.18.1-linux-x64.tar.xztar xf node-v12.18.1-linux-x64.tar.xzmv node-v12.18.1-linux-x64 /usr/local/node# 设置环境变量echo "export PATH=$PATH:/usr/local/node/bin"

1、相关查询语句1.检测集群是否健康集群状态[root@test-01 ~]# curl -XGET -u elastic:123456 'localhost:9200/_cat/health?v'epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent159281745

我们会发现在ElasticSearch启动时，会占用两个端口9200和9300。他们具体的作用如下：9200 是ES节点与外部通讯使用的端口。它是http协议的RESTful接口（各种CRUD操作都是走的该端口,如查询：http://localhost:9200/user/_search）。9300是ES节点之间通讯使用的端口。它是tcp通讯端口，集群间和TCPclient都走的它。（java程序中使用ES时，在配置文件中要配置该端口）...

elasticsearch修改es集群的索引副本数量

一、文档下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.1-linux-x86_64.tar.gz官网地址：https://www.elastic.co/二、安装1.下载并解压，添加用户cd /data1#解压tar -zxf elasticsearch-7.11.1-linux-x86_64.tar.gz##创建数据目录cd elasticsearch-7.11.1/mkdir

一、_cat无密码查看具体命令 curl localhost:9200/_cat有密码查看命令curl -uxxx:xxx -XGET 'localhost:9200/_cat 1.集群健康状态 /_cat/health 2.资源信息 /_cat/allocation 3.查看文档总数 /_cat/count 4.查看具体索引的文档总数 /_cat/count/{index} 5.查看fielddata占用内存情况(查询时es会把fielddata信息load进内存

在Elasticsearch中默认的分词器对中文的支持不好，会分隔成一个一个的汉字。而IK分词器对中文的支持比较好，主要有两种模式"ik_smart"和"ik_max_word"。安装IK分词器方法一： 自动安装IK分词器注意： 必须保证centos系统是联网的。IK分词器的 GitHub 地址，选择跟自己的Elasticsearch对应的版本，本文使用的版本是Elasticsearch7.5.1版本。更多版本地址找到IK分词器的7.5.1的地址然后使用elasticsearch-plugin命

DBSyncer中间件Mysql同步Elasticsearch(ES)

mongostat是mongodb自带的状态检测工具，在命令行下使用，会间隔固定时间获取mongodb的当前运行状态，并输出。常用命令格式：mongostat --host 192.168.1.100:27017 -uroot -p123456 --authenticationDatabase admin//参数说明：host:指定IP地址和端口，也可以只写IP，然后使用--port参数指定端口号-u： 如果开启了认证，则需要在其后填写用户名-p: 不用多少，肯定是密码--auth..

mongodb基线检查

MongoDB索引管理－索引的创建、查看、删除目录MongoDB索引管理－索引的创建、查看、删除索引创建方式创建索引查看索引删除索引索引重建查看索引创建进度终止索引的创建索引是提高查询查询效率最有效的手段。索引是一种特殊的数据结构，索引以易于遍历的形式存储了数据的部分内容（如：一个特定的字段或一组字段值），索引会按一定规则对存储值进行排序，而且索引的存储位置在内存中，所在从索引中检索数据会非常快。如果没有索引，MongoDB必须扫描集合中的每一个文档，这种扫描的效率非

前言，目前生产环境的mongodb是用docker-compose部署的单机实例，这其实是不太合理的，一般容器是用来跑无状态服务，而且用容器的方式来部署数据库，势必性能会不如硬装或者Sass服务，而且占用的资源比较大，考虑这一点，计划将mongodb迁移至阿里云托管，使用全量+增量的方式迁移。那么在此之前数据库需要开启oplog，否则无法进行增量迁移。1、修改mongodb配置，在docker-compose.yml里面增加 command: - --replSet - rs2、开

配置文件在 /etc/mongod.conf文件里启动方式./bin/mongod -f MongoDB.conf 会看到about to fork child process, waiting until server is ready for connections.forked process: 2313child process started successfully, parent exiting基本配置#数据库数据存放目录dbpath=/usr/local/mongodb3

目录1、找到mongodb的配置文件​2、编辑配置文件将用户验证的配置项注释3、重启mognodb4、登录mongo5、重新设置密码具体操作步骤如下1、找到mongodb的配置文件通过ps aux|grep mongo 找到mongodb的配置文件mongodb.cnf2、编辑配置文件将用户验证的配置项注释vim /etc/mongodb.conf3、重启mognodb4、登录mongo这时候登录就不需要密码认证了,然后删除以前设置的用户u

一、概述mongoDB副本集适合写比较少，读较多的场景，写可以使用消息队列来进行控制，这样可以减少高并发写带来的压力。副本集的使用场景要根据自己的项目需求来选择，要是有着高并发的写需求，建议采用分片的方式搭建集群，在稳定性方面要比副本集要高。我这里的使用场景是将写入操作用队列控制，主要是查询多。副本集中的副本节点在主节点挂掉后通过心跳机制检测到后，就会在集群内发起主节点的选举机制，自动选举一位新的主服务器。主节点故障后会实现自动切换，节点数量一定要大于等于3，否则可能会出现选主错误。官方建议为奇数

查询操作是我们日常操作数据库经常会遇到的一个功能，下面这篇文章主要给大家介绍了关于MongoDB如何查询耗时记录的相关资料准备在此之前，我们先在我们的数据库中插入10万条数据。数据的格式是这样的：{ "name":"your name", "age":22, "gender":"male", "grade":2}explainexplain方法是用来查看db.collecion.find()的一些查询信息的。例如：db.collectionName.find().exp

oplog是Capped Collection，默认分配5%的空闲磁盘空间。介绍一下mongodb local库的作用local库是MongoDB的系统库，记录着时间戳和索引和复制集等信息bertram:PRIMARY> use local;switched to db localbertram:PRIMARY> show tables;meoplog.rsreplset.electionreplset.minvalidstartup_logsystem.profil

有时候我们需要向数据库中手动插入一些数据，但是如果数据格式本身比较复杂，并且需要插入多条数据的时候，直接子啊mongodb的shell上写js代码来像执行命令一样，虽然简单粗暴，但是对于比较复杂数据的情况是很不方便的，并且在shell上写js代码不方便修改数据等。所以如果能把想要执行的js代码写成一个脚本，需要插入、修改数据的时候，只需要执行这个脚本就可以了，并且修改js代码也非常的方便例如：在testdb数据库下的test集合中插入一条数据在任意路径下新建一个insert.js的文件(文件名自己定义

MongoDB 删除，添加副本集，并修改副本集IP等信息添加副本，在登录到主节点下输入rs.add("ip:port");删除副本rs.remove("ip:port")新增仲裁节点rs.addArb("ip:port");修改副本host：shard1:PRIMARY> cfg = rs.conf(){ "_id" : "shard1", "version" : 5, "protocolVersion" : NumberLong

1：oplog简介oplog是 local库下的一个固定集合，Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog，记录这从主节点复制过来的信息，这样每个成员都可以作为同步源给其他节点。2：副本集数据同步的过程副本集中数据同步的详细过程：Primary节点写入数据，Secondary通过读取Primary的oplog得到复制信息，开始复制数据并且将复制信息写入到自己的oplog。如果某个操作失败（只有当同步源的数据损坏或者数据与主节点不一致时才可能发生

一、MongoDB用户角色及相关命令1、理解 admin 数据库安装 MongoDB 时，会自动创建 admin 数据库，这是一个特殊数据库，提供了普通数据库没有的功能。有些用户角色赋予用户操作多个数据库的权限，而这些角色只能在 admin 数据库中创建，要创建有权操作所有数据库的超级用户，必须将该用户加入到 admin 数据库中。检查凭证时，MongoDB 将在指定数据库和 admin 数据库中检查用户账户。2、内建的角色数据库用户角色：read、readWrite;数据库管理.

目录第一步：将Mall表从MySQL中导出，右键，点击导出向导，选择格式为 .csv(使用Navicat)第二步：导出完成后，然后上传文件到Linux第三步：导入数据到MongoDB第一步：将Mall表从MySQL中导出，右键，点击导出向导，选择格式为 .csv(使用Navicat)勾选这两项如下：导出完成（mysql 1094条数据）第二步：导出完成后，然后上传文件到Linux第三步：导入数据到MongoDB如果MongoDB没有创建用户，使用mon.