大数据运维
文章平均质量分 75
oo寻梦in记
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【架构】-- Nightingale:云原生监控告警平台的深度解析
Nightingale是一款专注于告警管理的开源云原生监控平台,由滴滴团队开发并捐赠给中国计算机学会。核心特性包括多数据源支持(Prometheus、ElasticSearch等)、专业告警管理(降噪、升级、自愈)、业务分组与权限管理。采用Go语言开发,支持Docker快速部署,特别适合企业级监控和边缘计算场景。与Grafana相比,更强调告警能力而非可视化。项目在GitHub上获得12.5k+星标,持续更新中,是云原生监控领域的专业解决方案。原创 2025-10-24 18:35:54 · 754 阅读 · 0 评论 -
【架构】-- bytebase 项目分析
摘要: Bytebase是一款开源的数据库DevSecOps平台,整合了数据库CI/CD、安全合规与团队协作功能,支持PostgreSQL、MySQL等主流数据库。其核心优势包括GitOps集成、自动化迁移、SQL审查、数据脱敏及RBAC权限管理,适用于开发团队、DBA和安全团队。通过统一管理界面和API支持,Bytebase解决了传统工具分散、低效的问题,被CNCF收录为云原生关键项目。部署灵活(Docker/Kubernetes),社区活跃(GitHub 13k+ Stars),是企业实现数据库现代化管原创 2025-10-24 18:28:38 · 1210 阅读 · 0 评论 -
【Kubernetes】-- Gonzo 之 Go 基于 TUI 的日志分析工具
Gonzo是一款基于Go语言的TUI日志分析工具,支持本地文件、云日志服务和OpenTelemetry等多种日志源。具有实时分析、交互式仪表盘、AI增强洞察(兼容OpenAI/Ollama等模型)等特性,提供11+主题皮肤和K9s集成。安装方式包括Go安装、Homebrew或直接下载二进制文件,支持Shell补全和环境变量配置。项目采用MIT许可证,架构清晰,包含日志分析引擎、AI接入等模块,适合开发运维人员在终端高效处理日志。原创 2025-09-19 22:00:06 · 1110 阅读 · 0 评论 -
【SQL】-- sql having 和 where 的 区别
摘要:WHERE和HAVING都是数据筛选条件,但适用场景不同。WHERE在GROUP BY之前执行,用于筛选单行记录;HAVING在GROUP BY之后执行,用于筛选聚合后的分组结果。WHERE针对行数据(如筛选年龄>30的员工),HAVING针对分组结果(如筛选人数>5的部门)。两者的主要区别在于应用时机和作用对象。原创 2025-09-12 12:01:11 · 98 阅读 · 0 评论 -
【运维】-- 前端会话回放与产品分析平台之 openreplay
OpenReplay是一款开源自托管的前端会话回放与分析平台,核心功能包括用户行为回放、技术上下文采集(网络请求、JS错误等)和实时协作。采用Monorepo结构,主要技术栈为TypeScript(49%)和Python(18%)。支持多种部署方式,具有丰富的插件生态和隐私保护功能,适用于复杂前端应用的故障排查和用户行为分析。优势在于数据主权可控、采集效率高,但需注意自托管成本和隐私策略配置。建议先小范围试点,逐步集成现有监控系统并制定数据管理策略。原创 2025-09-12 10:27:51 · 1204 阅读 · 0 评论 -
【 运维相关】-- HTTP 压测/负载发生器之新秀 oha
oha是一款基于Rust开发的轻量级HTTP压力测试工具,具有跨平台、低开销的特点。它支持高并发连接、多种测试模式(固定持续时间/请求数)、RPS限速发压等功能,提供终端可视化输出和JSON格式结果。工具可通过多种方式安装,支持GET/POST等HTTP方法,可自定义请求头和请求体,并允许跳过TLS校验。与wrk、hey等工具相比,oha在限速发压、TUI展示和现代协议支持方面更具优势。最佳实践建议采用持续时间模式,合理设置并发与RPS,注意预热和稳定期,并保存JSON结果用于性能回归对比。适用于本地快速压原创 2025-09-10 12:12:24 · 861 阅读 · 0 评论 -
【Linux】-- linux 配置用户免密登录本机
如果配置正确,会直接登录到本机,无需输入密码。检查 SSH 服务的配置文件。将生成的公钥添加到自己的。原创 2024-12-17 11:26:47 · 1461 阅读 · 0 评论 -
【大数据】-- odps/maxcompute 表操作
对分区表的分区进行合并,即同一个分区表下的多个分区合并成一个分区,同时删除被合并的分区维度的信息,把数据移动到指定分区。查看MaxCompute内部表、视图、外部表、聚簇表或Transactional表的信息。您可以在创建表时设置生命周期,也可以对已有的表设置生命周期或修改生命周期时长。列出项目下所有的表、视图或符合某规则(支持正则表达式)的表、视图。列出一张表中的所有分区。为已存在的非分区表或分区表同时修改列名称和列注释。为已存在的非分区表或分区表添加列或注释。为已存在的非分区表或分区表修改列注释。原创 2024-02-28 10:09:23 · 520 阅读 · 0 评论 -
【运维】-- 在线网络工具
这是搬瓦工官方做的一个 ping 在线测试网站工具。比较适合测试短时间的 ping 统计,并且在网页上以图表形式统计显示出来。chinaz 站长工具提供的主要是国内节点的多地网络在线测试。包含 ping 和 web 访问速度测试。b、除了 ping 之外也提供 port 端口连通性测试和 dig DNS 测试。在线网络工具,可以帮助您检测和分析IP地址的连接情况。a、丢包会以红色显示出来,可以下载图片。原创 2023-11-14 11:26:23 · 357 阅读 · 0 评论 -
【Ambari基础】-- Ambari的基本介绍
Ambari是开源的集群管理工具,目前大数据开源厂商 Hortonworks就是使用它来管理集群组件。1、Ambari的基本架构Ambari Server从集群中收集数据。每个host都有Ambari agent的副本,允许Ambari server控制每个主机。下图是Ambari架构的简化表示:Ambari Web是一个客户端JavaScript应用程序,它调用Ambari ...翻译 2019-02-11 17:49:40 · 2818 阅读 · 1 评论 -
【大数据】-- Flink 1.16.0 发布
flink 1.16.0 发布说明翻译 2023-03-01 09:58:36 · 636 阅读 · 0 评论 -
【Kafka进阶】-- unclean.leader.election.enable参数的内涵
在 kafka 1.x 版本中,处于安全和可靠的考虑,有不少参数过于保守。所以用户需要按需调整1、将 broker 参数 unclean.leader.election.enable 设置为 true(确保分区可从非 ISR 中选举 leader)2、将 broker 参数 default.replication.factor 设置为 3(提高高可用,但会增大集群的存储压力,可后续讨论)原创 2023-02-15 12:08:20 · 1140 阅读 · 0 评论 -
[Kafka 基础]-- 安装 kafka-manager 监控
一、Kafka 监控工具介绍 目前还没有一款公认比较优秀的 Kafka 监控工具,各有各的好,我们可以针对自己需要去选择,但是如果你是 Kafka 集群运维操作人员,还是推荐先用 Kafka Manager 来做监控。1.Kafka Manager雅虎公司开源的免费监控框架 Scala 编写的 国内外最受欢迎的、社区非常活跃 功能非常齐全且 UI 界面可执行一些简单的...原创 2019-11-12 17:33:29 · 647 阅读 · 0 评论 -
[CDH 基础]-- Cloudera Manager Metrics(CDH-6.3.0)
Cloudera Manager MetricsThis section provides information on metrics supported by Cloudera Manager.Ametricis a property that can be measured to quantify the state of an entity or activity. Th...转载 2019-11-07 09:57:20 · 1297 阅读 · 0 评论 -
[CDH 基础]-- tsquery 语言指南(CDH 6.3.0)
tsquery LanguageThe tsquery language is used to specify statements for retrieving time-series data from the Cloudera Manager time-series datastore.Continue reading:tsquery Syntax Metric Expr...转载 2019-11-07 09:54:55 · 2176 阅读 · 0 评论
分享