- 博客(17)
- 收藏
- 关注
RSS订阅原创 paramiko 无法实例化 transport
目前遇到一个问题，尝试用 paramiko 构建 ssh 连接，ssh 连接是基于 paramiko 的 transport 对象，因此需要先实例化 transport 对象，但是如果服务器宕机了，paramiko 会一直 pending 在实例化 transport 对象的过程中。
2022-11-09 12:37:55
944
原创 Redis 一主一从哨兵模式配置
sentinel 本身是一个独立运行的进程，它能监控 master-slave 集群，发现 master 宕机后能进行自动切换。sentinel 可以让 redis 实现主从复制，当一个集群中的 master 失效之后，sentinel 可以选举出一个新的 master 用于自动接替 master 的工作，集群中的其他 redis 服务器自动指向新的 master 同步数据。一般建议 sentinel 采取奇数台，防止某一台 sentinel 无法连接到 master 导致误切换。
2022-11-07 15:01:02
4018
原创 Kafka 安装及基本入门
Kafka 是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa 支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了 Kafka Connect、Kafka Streams 以支持连接其他系统的数据源，如 ES、Hadoop 等。Kafka 最核心的最成熟的还是他的消息引擎，所以 Kafka 大部分应用场景还是用来作为消息队列削峰平谷。另外，Kafka 也是目前性能最好的消息中间件。
2022-10-27 10:57:44
1806
1
原创 Logstash HA 实现
为了实现 kafka 集群的大批量数据的实时性处理，需要多个 logstash 将其入 es，需要测试 logstash 的 loadbalance 和 HA 能力，因此设计以下测试场景。
2022-10-24 13:00:39
1157
原创 Logstash 数据保护机制
在 Kafka => Logstash => ES 的架构设计中，如果 Logstash 或 ES 侧的集群发生了宕机，是否会造成数据的丢失或者磁盘或内存的溢出，这是需要关心的问题。因此，需要对 Logstash 的 ES output 断联问题进行测试。
2022-10-24 12:59:39
1751
原创 Logstash 基本入门
Logstash 数据传输管道所具备的流水线特征，体现在数据传输过程分为三个阶段：**输入、过滤和输出**。这三个阶段按顺序依次相连，像一个加工数据的流水线。 在实现上，它们分别由三种类型的插件实现，即输入插件、过滤器插件和输出插件，并可通过修改配置文件实现快速插拔。除了这三种类型的插件以外，还有种称为编解码器(Codec)的插件。编解码器插件用于在数据进入和离开管道时对数据做解码和编码，所以它一般都是与具体的输入插件或输出插件结合起来使用。
2022-10-24 12:58:24
908
原创 Logstash 分布式日志管理
日常部署服务时，为了达到 High Available 或是 Load Balance 的目的，经常会在多个服务器部署多个服务实例。不同实例的日志一般都是直接写入本地的日志文件中，一旦出现问题或是日常检查，运维人员需要登录不同的服务器获取日志详情，十分低效。因此，希望能够通过Logstash读取本地日志文件，并进行简单的处理，将非格式文本解析为格式化数据，最终输出到 ES 或是 MySQL 等数据库管理工具进行同一管理查看，提升运维人员的工作效率。
2022-10-24 12:57:10
1046
原创 搭建 NTP 时钟服务器
在日常的开发运维中，项目和脚本会需要获取 linux 的系统时间，为日志或者数据打上时间戳，因此时间的准确性影响着数据的准确性。特别是，如果是分布式部署的集群系统，多个节点处理不同的数据流，最终汇总处理或呈现时，时间戳扮演着十分重要的角色。如果多个节点的时间出现偏差，最终可能会污染数据，导致数据的乱序等，后果十分严重。
2022-10-24 11:52:12
1481
转载 软件授权加密算法研究
软件授权加密算法研究转载自 brucevanfdm 。介绍软件授权机制的基础就是加密算法。加密算法可以简单分为对称加密算法（加解密均采用同一密钥）和非对称加密算法（采用公钥加密，私钥解密或私钥签名，公钥验签）。AES 加密算法AES（Advanced Encryption Standard）加密算法，在密码学中又称 Rijndael 加密算法，是一种区块加密标准算法。AES 加密算法由美国国家标准与技术研究（NIST）于2001年11月26日发布于 FIPS PUB 197，并在2002年5月
2021-10-24 12:08:28
2233
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人