Mirson - 多一些分享, 多一些进步

在Docker Swarm模式下， 出于安全考虑， 迄今的版本都不支持privileged参数把权限完全放开，单节模式下采用docker run 命令是可以支持privileged参数， 但这样无法利用Docker Swarm集群对所有docker节点进行管理以及网络的通信配置， 这样就导致通过Docker Swarm集群部署centos容器时， 出现Failed to get D-Bus Connection: Operation not permitted等权限相关问题...

网上找了很多资料，但能够实现Docker安装Hadoop3.X和Hbase2.X真正分布式集群的教程很零散，坑很多， 把经验做了整理， 避免趟坑。

1）检查数据库是否生成了采集数据库udb， 如果没有生成， 检查telegraf的配置， 并且确认6041端口是否开放；需要在集群的所有数据节点上， 都安装telegraf（参考第2节），将采集的数据写入到tdengine中。在Grafana主页， 左侧功能菜单中， 点击“+”选择“import”导入功能， 将配置文件导入进去。2）检查grafana的看板配置参数， database的监控数据库名称是否正确。命令，可以查看Telegraf是否正常运行，并输出采集到的数据。

K8S的安装官网和网上的资料都很多， 但系统性能够手把手有效安装完成的比较少，所以根据实践，给出一篇能够安装部署的完整操作教程， 并且解决安装过程当中的各种问题

Dockerfile的构建、Docker Compose的使用与Docker Swarm集群模式配置使用

快速掌握Docker的使用， 包括如何安装、生产实际常用的操作命令、以及Portainer可视化管理操作等

这里用到了OAUTH2的客户端模式和密码模式， 适合微服务场景大用户量的接入，采用Redis缓存， 能够保障较高的性能， JWT附带信息不能过多， 会增加传输资源开销， 加密方式也不能过于复杂， 影响CPU性能， 如果有较多额外信息需要传递， 可以采用TOKEN增强模式， 数据存储在缓存， 不会带来过多的IO开销。在实际项目当中， 要做仔细权衡，能加入缓存地方尽量加入， 保障安全的同时， 也要有较好的性能...

传统登陆方式是在每个服务进行登陆认证， 每个服务保存自己的用户数据， 并独立实现登陆认证逻辑。随着服务的不断扩展， 用户数据很难集中统一，开发成本不断增加， 用户交互也极为不便 。单点登陆是通过统一认证授权服务， 完成所有服务节点的登陆授权工作，需一台认证服务器，统一用户数据库， 完成用户认证授权， 控制资源访问， 支持其他服务或第三方应用接入， 扩展性强， 开发和运维成本降低。

Spring Boot 与Spring Security 集成， 包含一般集成用法， 还包括自定义用户登陆页面使用， 自定义内存模式验证， 以及自定义登陆成功与失败逻辑处理。

主要全面讲解Spring Boot Admin的集成配置使用， 各种用法， 包括直连模式与注册中心模式的使用， 与Spring-Security的集成权限控制，Spring Boot Admin监控台的全面使用等

Jenkins中的Pipeline Script功能十分强大，不再简单的调用SHELL指令， 可以完全支持Groovy脚本语言，兼容JAVA生态，可以支持各种第三方组件，再加入Mysql的打包配置持久化， 可以很灵活的实现各种复杂打包的场景，更好的控制管理版本的打包，实现可持续性的集成配置管理，可以极大的简化打包配置工作量。这里讲解具体的配置使用， 以及在使用过程中所遇到的一些问题的处理。

Spring Boot Actuator监控功能， 包含常用的内置监控节点, health、beans、metrics、conditions、heapdump等，通过实践案例， 全面掌握自定义Actuator的用法， 在实际项目中根据需要， 扩展自定义监控节点或改进内置监控节点

MongoDB的单节点安装与集群安装配置搭建

Java 封装的常用Redis框架有Jedis、Redisson和Lettuce等，这些框架帮我们解决了Redis的连接管理、API操作问题， Spring Boot 在 Lettuce基础上做了进一步封装， 提供了spring-boot-starter-data-redis组件， 帮助我们更为简化方便的使用Redis功能。 Spring-boot-data-redis 提供了几个Redis操作模板， 例如： RedisTemplate、StringRedisTemplate、ReactiveRedisT

Kafka主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，如果有大量的消息处理（10W+)，对一致性要求不高， 那么可以采用KAFKA， 比如日志采集、 数据同步与归档、实时流数据处理等场景。 Spring 官方为我们提供了Spring-kafka组件， 这里讲解如何与Spring Boot集成使用，并通过代码将全面讲解Kafka普通订阅模式、死信队列配置使用、多路订阅模式以及事务控制的使用。...

Spring Message 是一种消息传输规范， RocketMQ可以支持， 在Spring Cloud Stream 中采用的就是Spring Message作为消息传输规范， 这是一个用于构建基于消息的微服务应用框架。ACL是Access Control List简称， 意为访问控制列表， 是RocketMQ4.4新加入的功能。加入ACL能够通过权限管理控制消息队列， 针对不同角色用户分配不同的队列操作权限， 便于权限管控， 提升消息队列数据的安全性。...

在金融互联网领域广泛应用，在阿里双11活动经历过多次考验， 经过严苛的生产验证，有比较高的可靠性，在数据处理上有比较高的稳定性， 能从最大程度上保证消息不易丢失，如果业务上有一定的规模， 且对数据的一致性，稳定性要求严苛， 那么可以采用RocketMQ， 比如金融互联网领域， 支付场景、交易场景等。如果有借助消息队列实现分布式事务， RocketMQ可以作为首选。...

RabbitMQ是主流开源消息队列中间件， 遵循AMQP（Advanced Message Queuing Protocol高级消息队列协议）， AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求较低。RabbitMQ主要有三种模式: Direct、Topic 和 Fanout。配置和使用上存在一些差别， 下面对这三种模式的集成使用做具体讲解...

Spring-boot支持ElasticSearch的集成， 并提供了spring-boot-starter-data-elasticsearch自动化配置组件。 这里会介绍如何通过该组件， 集成至项目中使用， 并实现基本的增删改查功能，同时演示集成的一些高级用法， 比如流式查询、自定义查询和异步查询。...

一、问题现象背景： 生产环境出现主从同步的故障， 出现的错误为HA_ERR_KEY_NOT_FOUND， 错误码为1032，检查主从数据没有出现缺失， 表结构和数据都完全一致， 经过排查问题是在于主从同步的配置，这里以示例做模拟重现，逐步分析定位出具体原因。1、升级后， 主从同步出现故障， 错误码为1032，进入从节点， 查看主从同步状态show slave status\G出现如下错误：2、查看具体的错误信息select * from performance_schema.replic

一、 Redis的特性性能高Redis能读的速度是10W+次/s,写的速度是8W+次/s 。丰富的数据类型Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。操作原子性Redis的所有操作都是原子性的，Redis还支持对几个操作全并后的原子性执行。功能丰富支持 publish/subscribe, lua脚本、事务、pipeline、 通知、 key 过期等等特性。支持多种编程语言java，

一、安装与配置问题总结服务端的安装版本与客户端需要保持一致。（如果是在同一主机，安装服务端后， 会自带客户端。）etc/hosts下的IP与主机名称的映射， 不要存在多个映射，即IP与主机名称保持唯一性。如果IO瓶颈， 要注意dataDir是否配置多个存储路径，且在不同磁盘下面，配置新的目录时需清空原有数据，多个dataDir配置示例：dataDir /data/tdengine/data1 0 1dataDir /data/tdengine/data2 0 0dataDir /d

一、说明Ansible是一款基于Python的自动化运维，用于发布、管理和编排计算机系统的工具、而且可以支持批量系统配置、批量部署运维、批量运行命令等功能。这里以TDEngine的集群部署为例， 讲解如何通过Ansible实现自动化部署。二、Ansible的安装先安装 CentOS 7 的 EPEL repository[root@localhost ~]$ yum install -y epel-release确保yum数据源安装成功。安装ansible[root@localho

1. 目标掌握Postgresql数据库主从部署搭建配置2. 脉络部署规划PostgreSQL单节点安装PostgreSQL主从部署配置主从同步验证3. 知行3.1 简介PostgreSQL是一个比较高性能的数据库， 结合PostGIS插件， 使PostgreSQL成为了一个空间数据库，能够进行空间数据管理、数量测量与几何拓扑分析。PostgreSQL从9.3开始支持J...

1. 目标掌握MariaDB Galera集群同步方案的搭建与配置2. 脉络Galera集群同步方案介绍MariaDB集群部署规划Linux系统配置Nginx安装，增加Stream支持MariaDB服务安装MariaDB集群配置集群启动验证与负载配置验证数据导出与导入集群迁移验证3. 知行3.1 Galera集群同步方案介绍MariaDB 10.1版本开始， 自...

1. 目标掌握RokcetMQ双主双从异步模式部署， 理解其他集群部署模式。理解RocketMQ持久化机制， 修改应用服务配置对集群功能进行验证。2. 脉络RocketMQ集群模式介绍RocketMQ消息持久化机制RocketMQ集群部署规划RocketMQ集群安装RocketMQ集群配置RocketMQ集群服务启动Rocket Console 控制台服务安装与启动应用...

1. 目标介绍ELK平台功能作用， 工作机制， 各部署架构模式特点。实现ELK日志分析平台的安装配置。2. 步骤介绍ELK日志分析平台介绍ELK部署架构模式介绍ELK工作机制实现Logstash安装配置实现Filebeat安装配置实现Kibana配置与数据查看3. 实现3.1 ELK日志分析平台介绍ELK是三个开源软件的缩写，分别表示：Elasticsearch ...

1. 目标了解ElasticSearch集群相关概念及功能作用实现ElasticSearch集群的安装配置实现ElastcSearch Head服务的安装配置实现Kibana服务的安装配置， 以及对集群服务的CRUD操作2. 脉络ElasticSearch特点与适用场景ElasticSearch集群部署规划ElasticSearch服务安装ElasticSearch集群配置...

交易平台 - Day 22学习目标目标1：Redis主从、哨兵与集群部署实践目标2：MongoDB的安装，路由+副本集+Shard分片的集群部署实践第1章 Redis集群部署实践1. 目标掌握Redis的部署模式与应用场景掌握Redis的主从部署、哨兵部署与多主集群部署2. 步骤Redis部署模式介绍Redis主从与哨兵集群部署Redis多主集群模式部署应用项目集群连...