- 博客(207)
- 收藏
- 关注
RSS订阅原创 开箱即用：免费的数据库管理平台 NineData
数据库属于当代社会一个基础设施级别的技术，为各行各业提供数据存储、管理、分析和挖掘等关键服务。随着云计算、大数据和人工智能等技术的发展，数据库技术也在不断地进步和演化。分布式数据库、NoSQL 数据库、列式存储数据库、向量数据库、时序数据库等，各种新型数据库技术不断涌现，满足了各种新兴应用场景的需求。既然数据库如此重要，而且种类繁多，如何管理好数据库，为业务提供持续稳定的数据库服务将是一件非常核心、极具挑战性且至关重要的任务。
2025-03-21 22:19:54
702
原创 数据库性能大揭秘：玩转MySQL监控指标状态变量
在本文中，我们将深入探讨MySQL数据库的性能监控世界。通过了解并应用一系列常用的监控指标，我们能够更精准地把握数据库的运行状况。这些指标，通常以状态变量（status variables）的形式呈现，是洞察数据库性能的关键。接下来，我们将逐一解析与连接相关的监控变量，包括当前连接数、活跃连接数、缓存线程数以及已创建的线程数。这些指标不仅帮助我们评估连接使用效率，还能预警潜在的性能问题。
2024-08-16 15:15:56
1251
原创 MongoDB的WiredTiger存储引擎
作者：太阳从MongoDB 3.2 开始，MongoDB实例默认的存储引擎为WiredTiger，WiredTiger存储引擎具体以下几大优点：文档级并发将数据持久化到磁盘快照和checkpoint数据压缩本地数据加密。
2024-08-09 10:43:48
1141
原创 MinIO文件服务
Minio 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。Minio是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL。
2024-08-08 13:48:25
1133
原创 百万并发下的nginx优化
nginx地址重写的主要功能是实现URL地址的重定向。服务器获得一个来访的URL请求，然后改写成服务器可以处理的另一个URL。语法格式： rewrite 旧的地址(支持正则) 新的地址 标签(可忽略)
2024-08-05 14:52:55
441
1原创 MySQL运维实战之元数据和数据字典
执行这个语句，MySQL需要知道：这个表是否存在，表的存储引擎是什么这个表有哪些字段，这些字段的数据类型是什么这个表有哪些索引，表的主键是什么对于InnoDB存储引擎，还需要知道主键和各个索引的根节点在哪个表空间的那个Page。上述的这些数据就是数据库元数据的一部分。这些数据也存储在InnoDB的系统表中，我们也把这些系统表称为数据字典。
2024-07-31 15:07:26
560
原创 Prometheus基于Alertmanager实现钉钉告警
选择群组—>群设置–>添加智能群助手–>添加机器人注意：选择过程中会有三种安全设置（这里我们只用第一种）1.第一个自定义关键字是说你在以后发送的文字中必须要有这个关键字，否则发送不成功。2.加签是一种特殊的加密方式，第一步，把timestamp+"\n"+密钥当做签名字符串，使用HmacSHA256算法计算签名，然后进行Base64 encode，最后再把签名参数再进行urlEncode，得到最终的签名（需要使用UTF-8字符集）。
2024-07-30 15:10:59
311
原创 MySQL 8.0 新特性汇总
MySQL 5.7 在 2023 年 10 月 31 日起，已经终止软件生命周期了，意味着 MySQL 官方将不再提供对 MySQL 5.7 版本的技术支持和更新。8.0 版本成为官方长期支持版本，提供了很多新特性，本文将详细解读 MySQL 8.0 版本的新特性，为 MySQL 版本升级作参考和指导。MySQL 8.0 相比 5.7 版本更新很多新特性，很多改变没有直接删除，便于用户过渡，兼容性还是比较高的。不过到 8.1、8.2 的创新版本，老的 5.7 的参数和语法就已经删除。
2024-07-30 11:46:44
1441
原创 Kubernetes安全--securityContext介绍
安全上下文（Security Context）定义 Pod 或 Container 的特权与访问控制设置。自主访问控制（Discretionary Access Control）：基于 用户 ID（UID）和组 ID（GID）. 来判定对对象（例如文件）的访问权限。安全性增强的 Linux（SELinux）： 为对象赋予安全性标签。以特权模式或者非特权模式运行。Linux 权能: 为进程赋予 root 用户的部分特权而非全部特权。AppArmor：使用程序框架来限制个别程序的权能。Seccomp。
2024-07-29 15:03:17
515
原创 Kubernetes安全--基于sa和user的rbac认证机制
K8S中有两种用户(User)——服务账号(ServiceAccount)和普通意义上的用户(User)ServiceAccount是由K8S管理的，而User通常是在外部管理，K8S不存储用户列表——也就是说，添加/编辑/删除用户都是在外部进行，无需与K8S API交互，虽然K8S并不管理用户，但是在K8S接收API请求时，是可以认知到发出请求的用户的，实际上，所有对K8S的API请求都需要绑定身份信息(User或者ServiceAccount)，这意味着，可以为User配置K8S集群中的请求权限。
2024-07-29 11:46:57
981
原创 EasyMR之Yarn资源队列管理
作者：雅泽设想一下，你现在所在的公司有一套线上的hadoop集群。A部门经常做一些定时的BI报表，B部门则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？如果你存在上述的困惑，可以多了解一些yarn的资源调度器。从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。
2024-07-26 15:40:44
742
原创 MySQL 复制延迟是如何计算的？
日常运维中总会收到 MySQL 备库延迟告警，一般数据库监控只读实例延迟都是采集 Seconds_Behind_Master 值，我们都知道它在某些场景下不可靠，今天一起探索 MySQL 是如何计算复制延迟，可以帮助我们透过现象看到问题的本质。
2024-07-26 15:14:16
640
原创 压测实操--nnbench压测hdfs_namenode负载方案
在集群硬件资源能给到最大条件下（比如namenode最大能给到8G，再大就会影响其他组件的内存使用），压测出此时的并行文件数为该集群中能达到的最大值，执行任务过程中不要超过最大值，并且建议根据该值设置任务运行并行文件阈值进行控制。也可以对每次运行命令的结果tps进行整理形成曲线图，观察不同变量下tps的趋势。趋势图样例更多技术信息请查看云掣官网t=yrgw。
2024-07-25 16:38:33
1349
原创 压测实操--TestDFSIO压测hdfs读写方案
在集群硬件资源能给到最大条件下（比如namenode最大能给到8G，再大就会影响其他组件的内存使用），结合并行文件和文件大小对hdfs的i/o进行测试，需要重点关注io速率、rpc、namenode同步和集群是否告警情况。也可以将执行命令得到的io rate和throughput进行整理，形成曲线图查看趋势。更多技术信息请查看云掣官网t=yrgw。
2024-07-25 11:42:13
565
原创 压测实操--kafka-consumer压测方案
使用kafka自带的kafka-consumer-perf-test.sh脚本对集群消费情况进行压测，根据业务情况设置要测试的messager条数。不同的变量因素，通过修改其中一个变量条件，固定其余变量值，获取对应的吞吐速率。整理不同条件下的指标结果，形成曲线就可以观察具体的消费趋势。
2024-07-24 14:50:21
735
原创 压测实操--kafka broker压测方案
通过调整集群中kafka broker的参数配置，获取不同参数下的吞吐速率。对broker参数的优化应当结合集群主机中的硬件资源进行适当调整。通过调整测试获取最合适的参数配置。更多技术信息请查看云掣官网t=yrgw。
2024-07-24 11:51:02
664
原创 Hbase&Hive区别对比
Hbase，其实是Hadoop database的简称，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。Hive，Hadoop数据仓库，通过SQL来处理和计算HDFS的数据，Hive会将SQL翻译为Mapreduce来处理数据，适用于离线的批量数据计算。
2024-07-23 10:25:14
602
原创 docker网络介绍
安装docker时，会自动创建三个网络。可以使用docker network ls命令列出这些网络：Docker内置这三个网络，运行容器时，可以使用–network标志来指定容器应连接到哪些网络。该bridge网络代表docker0所有Docker安装中存在的网络。除非你使用该docker run --network=选项指定，否则Docker守护程序默认将容器连接到此网络。
2024-07-22 11:05:50
1063
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人