
大数据运维
文章平均质量分 69
oo寻梦in记
这个作者很懒,什么都没留下…
展开
-
【Linux】-- linux 配置用户免密登录本机
如果配置正确,会直接登录到本机,无需输入密码。检查 SSH 服务的配置文件。将生成的公钥添加到自己的。原创 2024-12-17 11:26:47 · 846 阅读 · 0 评论 -
【大数据】-- odps/maxcompute 表操作
对分区表的分区进行合并,即同一个分区表下的多个分区合并成一个分区,同时删除被合并的分区维度的信息,把数据移动到指定分区。查看MaxCompute内部表、视图、外部表、聚簇表或Transactional表的信息。您可以在创建表时设置生命周期,也可以对已有的表设置生命周期或修改生命周期时长。列出项目下所有的表、视图或符合某规则(支持正则表达式)的表、视图。列出一张表中的所有分区。为已存在的非分区表或分区表同时修改列名称和列注释。为已存在的非分区表或分区表添加列或注释。为已存在的非分区表或分区表修改列注释。原创 2024-02-28 10:09:23 · 421 阅读 · 0 评论 -
【运维】-- 在线网络工具
这是搬瓦工官方做的一个 ping 在线测试网站工具。比较适合测试短时间的 ping 统计,并且在网页上以图表形式统计显示出来。chinaz 站长工具提供的主要是国内节点的多地网络在线测试。包含 ping 和 web 访问速度测试。b、除了 ping 之外也提供 port 端口连通性测试和 dig DNS 测试。在线网络工具,可以帮助您检测和分析IP地址的连接情况。a、丢包会以红色显示出来,可以下载图片。原创 2023-11-14 11:26:23 · 205 阅读 · 0 评论 -
【Ambari基础】-- Ambari的基本介绍
Ambari是开源的集群管理工具,目前大数据开源厂商 Hortonworks就是使用它来管理集群组件。1、Ambari的基本架构Ambari Server从集群中收集数据。每个host都有Ambari agent的副本,允许Ambari server控制每个主机。下图是Ambari架构的简化表示:Ambari Web是一个客户端JavaScript应用程序,它调用Ambari ...翻译 2019-02-11 17:49:40 · 2584 阅读 · 1 评论 -
【大数据】-- Flink 1.16.0 发布
flink 1.16.0 发布说明翻译 2023-03-01 09:58:36 · 451 阅读 · 0 评论 -
【Kafka进阶】-- unclean.leader.election.enable参数的内涵
在 kafka 1.x 版本中,处于安全和可靠的考虑,有不少参数过于保守。所以用户需要按需调整1、将 broker 参数 unclean.leader.election.enable 设置为 true(确保分区可从非 ISR 中选举 leader)2、将 broker 参数 default.replication.factor 设置为 3(提高高可用,但会增大集群的存储压力,可后续讨论)原创 2023-02-15 12:08:20 · 1009 阅读 · 0 评论 -
[Kafka 基础]-- 安装 kafka-manager 监控
一、Kafka 监控工具介绍 目前还没有一款公认比较优秀的 Kafka 监控工具,各有各的好,我们可以针对自己需要去选择,但是如果你是 Kafka 集群运维操作人员,还是推荐先用 Kafka Manager 来做监控。1.Kafka Manager雅虎公司开源的免费监控框架 Scala 编写的 国内外最受欢迎的、社区非常活跃 功能非常齐全且 UI 界面可执行一些简单的...原创 2019-11-12 17:33:29 · 488 阅读 · 0 评论 -
[CDH 基础]-- Cloudera Manager Metrics(CDH-6.3.0)
Cloudera Manager MetricsThis section provides information on metrics supported by Cloudera Manager.Ametricis a property that can be measured to quantify the state of an entity or activity. Th...转载 2019-11-07 09:57:20 · 1115 阅读 · 0 评论 -
[CDH 基础]-- tsquery 语言指南(CDH 6.3.0)
tsquery LanguageThe tsquery language is used to specify statements for retrieving time-series data from the Cloudera Manager time-series datastore.Continue reading:tsquery Syntax Metric Expr...转载 2019-11-07 09:54:55 · 1973 阅读 · 0 评论