kubernetes1.8版本heapster部署

在Kubernetes集群中部署Heapster 背景公司的容器云平台需要新增应用的自动扩缩容功能,以便能够更加智能化的对应用进行管理。Kubernetes官方提供了HPA(Horizontal Pod Autoscaling)资源对象。要让我们部署的应用做到自动水平的(水平指的是增减Pod副本数量)进行扩缩容,我们只需要在Kubernetes集群中创建HPA资源对象,然后让该资源对象关联某一需要进行自动扩缩容的应用即可。HPA默认的是以Pod平均 阅读详情

1. heapster介绍

Heapster是容器集群监控和性能分析工具,天然的支持Kubernetes和CoreOS。Kubernetes有个出名的监控agent—cAdvisor。在每个kubernetes Node上都会运行cAdvisor,它会收集本机以及容器的监控数据(cpu,memory,filesystem,network,uptime)。在较新的版本中,K8S已经将cAdvisor功能集成到kubelet组件中。每个Node节点可以直接进行web访问。

Heapster是一个收集者,Heapster可以收集Node节点上的cAdvisor数据,将每个Node上的cAdvisor的数据进行汇总,还可以按照kubernetes的资源类型来集合资源,比如Pod、Namespace域,可以分别获取它们的CPU、内存、网络和磁盘的metric。默认的metric数据聚合时间间隔是1分钟。还可以把数据导入到第三方工具(如InfluxDB)。

Kubernetes原生dashboard的监控图表信息来自heapster。在Horizontal Pod Autoscaling中也用到了Heapster,HPA将Heapster作为Resource Metrics API,向其获取metric,做法是在kube-controller-manager 中配置–api-server指向kube-aggregator,也可以使用heapster来实现,通过在启动heapster的时候指定–api-server=true。 
架构图: 
这里写图片描述
框架图: 
这里写图片描述 
Heapster首先从K8S Master获取集群中所有Node的信息,然后通过这些Node上的kubelet获取有用数据,而kubelet本身的数据则是从cAdvisor得到。所有获取到的数据都被推到Heapster配置的后端存储中,并还支持数据的可视化。现在后端存储 + 可视化的方法,如InfluxDB + grafana。

说明:本实验采用influxdb作为heapster后端

2.Heapster部署

2.1 获取最新版heapster(v1.5.0-beta.2)

到 heapster release 页面(https://github.com/kubernetes/heapster/releases)下载最新版本的 heapster:

wget https://github.com/kubernetes/heapster/archive/v1.5.0-beta.2.zip
unzip v1.5.0-beta.2.zip
cd heapster-1.5.0-beta.2/deploy/kube-config/influxdb
  • 1
  • 2
  • 3

2.2 修改配置文件

2.2.1 heapster配置

修改heapster.yml配置文件

deployment:
        image: daocloud.io/liukuan73/heapster-amd64:v1.5.0-beta.2
        imagePullPolicy: IfNotPresent
      nodeSelector:
        kubernetes.io/hostname: k8smaster02
service:
  type: NodePort
    nodePort: 30003
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

部署好后可以打开kubernetes-dashboard看效果,看是否显示各 Nodes、Pods 的 CPU、内存、负载等利用率曲线图;

2.2.2 grafana配置

修改grafana.yaml配置文件:

deployment:
        image: daocloud.io/liukuan73/heapster-grafana:v4.4.3
        imagePullPolicy: IfNotPresent
          # If you're only using the API Server proxy, set this value instead:
          value: /api/v1/namespaces/kube-system/services/monitoring-grafana/proxy
          #value: /
      nodeSelector:
        kubernetes.io/hostname: k8smaster02
service:
  type: NodePort
    nodePort: 30002
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

备注: 
如果后续使用 kube-apiserver 或者 kubectl proxy 访问 grafana dashboard,则必须将 GF_SERVER_ROOT_URL 设置为 /api/v1/proxy/namespaces/kube-system/services/monitoring-grafana/,否则后续访问grafana时访问时提示找不到http://172.20.0.113:8086/api/v1/proxy/namespaces/kube-system/services/monitoring-grafana/api/dashboards/home 页面;

2.2.3 influxdb配置

2.2.3.1 开启admin UI

说明: 
influxdb 官方建议使用命令行或 HTTP API 接口来查询数据库,从 v1.1.0 版本开始默认关闭 admin UI,将在后续版本中移除 admin UI 插件。开启镜像中 admin UI的办法如下: 
先导出镜像中的 influxdb 配置文件,开启 admin 插件后,再将配置文件内容写入 ConfigMap,最后挂载到镜像中,达到覆盖原始配置的目的:

docker run --rm --entrypoint 'cat'  -ti daocloud.io/liukuan73/heapster-influxdb-amd64:v1.3.3 /etc/config.toml > config.toml
  • 1

修改config.toml,启用 admin 接口:

[[graphite]]
  enabled = true
  • 1
  • 2

使用修改后的配置文件创建configmap:

kubectl create configmap influxdb-config --from-file=config.toml  -n kube-system
  • 1

修改influxdb.yaml,将 ConfigMap 中的配置文件挂载到 Pod 中,达到覆盖原始配置的目的:

 deployment:
        - mountPath: /etc/
          name: influxdb-config
      - name: influxdb-config
        configMap:
          name: influxdb-config
service:
spec:
  type: NodePort
  ports:
  - port: 8086
    targetPort: 8086
    nodePort: 30004
    name: http
  - port: 8083
    targetPort: 8083
    nodePort: 30005
    name: admin
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

说明: 
service中额外增加了 admin 端口映射,用于后续浏览器访问 influxdb 的 admin UI 界面;

2.2.3.2 修改influxdb.yaml中其他配置
deployment:
        image: daocloud.io/liukuan73/heapster-influxdb-amd64:v1.3.3
        imagePullPolicy: IfNotPresent
      nodeSelector:
        kubernetes.io/hostname: k8smaster02
  • 1
  • 2
  • 3
  • 4
  • 5

3.界面访问

3.1 grafana

  • 通过 kube-apiserver 访问: 
    获取 monitoring-grafana 服务 URL
# kubectl cluster-info
Kubernetes master is running at http://localhost:8080
dnsmasq is running at http://localhost:8080/api/v1/proxy/namespaces/kube-system/services/dnsmasq
Heapster is running at http://localhost:8080/api/v1/proxy/namespaces/kube-system/services/heapster
kubedns is running at http://localhost:8080/api/v1/proxy/namespaces/kube-system/services/kubedns
monitoring-grafana is running at http://localhost:8080/api/v1/proxy/namespaces/kube-system/services/monitoring-grafana
monitoring-influxdb is running at http://localhost:8080/api/v1/proxy/namespaces/kube-system/services/monitoring-influxdb

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

浏览器访问 URL: https://10.142.21.22:6443/api/v1/proxy/namespaces/kube-system/services/monitoring-grafana

  • 通过 kubectl proxy 访问: 
    创建代理
kubectl proxy --address='10.142.21.21' --port=8086 --accept-hosts='^*$'
 Starting to serve on 10.142.21.21:8086
  • 1
  • 2

浏览器访问 URL:http://10.142.21.21:8086/api/v1/proxy/namespaces/kube-system/services/monitoring-grafana

可我打开咋是这个页面呢: 
这里写图片描述 
一些js和css元素找不到…留作以后处理…

3.2 访问 influxdb admin UI

通过 kube-apiserver 的非安全端口访问 influxdb 的 admin UI 界面: http://10.142.21.21:8080/api/v1/proxy/namespaces/kube-system/services/monitoring-influxdb:8087/ 
备注:我的api_server只向localhost开放了非安全的8080端口,所以我只能通过安全端口访问:https://10.142.21.21:6443/api/v1/proxy/namespaces/kube-system/services/monitoring-influxdb:8087/

在页面的 “Connection Settings” 的 Host 中输入 node IP, Port 中输入 8086 映射的 nodePort 如上面的 30004,点击 “Save” 即可

注意

在安装好 Grafana 之后我们使用的是默认的 template 配置,页面上的 namespace 选择里只有 default 和 kube-system,并不是说其他的 namespace 里的指标没有得到监控,只是我们没有在 Grafana 中开启他它们的显示而已。见 Cannot see other namespaces except, kube-system and default #1279。

修改grafana模板 
这里写图片描述
将 Templating 中的 namespace 的 Data source 设置为 influxdb-datasource,Refresh 设置为 on Dashboard Load 保存设置,刷新浏览器,即可看到其他 namespace 选项。

6.Heapster使用

这里主要介绍Heapster的API使用,及可获取的Metrics。 
The Heapster Model is a structured representation of metrics for Kubernetes clusters, which is exposed through a set of REST API endpoints. It allows the extraction of up to 15 minutes of historical data for any Container, Pod, Node or Namespace in the cluster, as well as the cluster itself (depending on the metric).

API文档及可用Metrics在官方文档中都介绍的比较齐全。下面用几条测试命令来解释API使用:

  • 获取支持的metrics:
curl -L http://10.142.21.21:30003/api/v1/model/metrics
    [
    "cpu/limit",
    "memory/request",
    "memory/limit",
    "cpu/usage_rate",
    "memory/usage",
    "cpu/request"
    ]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 列出某一个Node支持的metrics
curl -L http://10.142.21.21:30003/api/v1/model/nodes/k8smaster01/metrics
  • 1
  • 查看对应Pod的cpu使用率
curl -L http://10.142.21.21:30003/api/v1/model/namespaces/<namespace-name>/pods/<pod-name>/metrics/cpu-usag
  • 1

参考:

1.https://jimmysong.io/kubernetes-handbook/practice/heapster-addon-installation.html 
2.https://www.kubernetes.org.cn/932.html

参考资料:

kubernetes1.30集群部署+dashboard+heapster v2.1 1、系统配置 1.1、禁用防火墙、禁用selinux #防火墙禁用 systemctl stop firewalld systemctl disable firewalld #SELinux禁用 setenforce 0 sed -i '/^SE/s/enforcing/disabled/' /etc/selinux/config  1.2、创建修改内核文件/etc/sysc... 阅读详情

相关推荐

k8s监控 heapster部署

更多kubernetes文章:k8s专栏目录使用 https://github.com/kubernetes/heapster github上的配置启动heapster目录位置 heapster/deploy/kube-config/influxdb/E1118 07:05:45.339132 1 reflector.go:203] k8s.io/heapster/metrics/sources/...

zhd930818的博客 2451

HeapsterAPI-----Heapster度量模型

Heapster模型是Kubernetes集群度量的结构化表示,通过一组REST API端点公开。它允许为集群中的任何Container,Pod,Node或Namespace以及集群本身(取决于指标)提取最多15分钟的历史数据。 请记住,这不是官方的Kubernetes API,我们会尽量保持稳定,但我们不保证将来不会更改它。 弃用 **不推荐使用Heapster Model API。请使用...

qq_38695182的博客 373

k8s监控 heapster部署实践

更多kubernetes文章:k8s专栏目录使用 https://github.com/kubernetes/heapster github上的配置启动heapster目录位置 deploy/kube-config/influxdb/,创建里面3个文件再创建 deploy/kube-config/rbac/heapster-rbac.yaml安装失败时[root@tensorflow1 ~]# k...

zhd930818的博客 5496

Kubernetes监控Heapster介绍

什么是Heapster? Heapster是容器集群监控和性能分析工具,天然的支持Kubernetes和CoreOS。 Kubernetes有个出名的监控agent—cAdvisor。在每个kubernetes Node上都会运行cAdvisor,它会收集本机以及容器的监控数据(cpu,memory,filesystem,network,uptime)。 在较新的版本中,K8S已经将cAdvisor功能集成到kubelet组件中。每个Node节点可以直接进行web访问。 cAdvisor web界面访

Less Is More 2044

ESP32 CAM使用教程(入门级)

串口被占用,可以关闭其他使用到串口的界面;先将手机也连上wifi,然后使用手机浏览器打开这个IP地址,注意手机连接的wifi需要和开发板的wifi一致,也就是程序里自己修改的那个wifi,否则无法打开IP地址;将开发板连接到电脑,点击点击工具→端口,然后选择自己实际接的COM口,不清楚COM口的可以打开电脑设备管理器查看一下,插拔设备看看哪个COM口会刷新就是哪个COM口;安装好esp32库之后,点击工具→开发板→esp32→AI Thinker ESP32-CAM,型号要仔细找找,不要选错了;

qq_34426854的博客 2万+

Duplicate Cleaner Pro 5.16 保姆级教程:如何用哈希值精准清理重复文件(附音频/视频模式详解)

本文详细介绍了Duplicate Cleaner Pro 5.16如何利用哈希值技术精准清理重复文件,特别针对音频、视频和图片等多媒体文件提供了专业解决方案。通过哈希算法比对和多媒体特征识别,帮助用户高效管理存储空间,提升文件整理效率。

weixin_27032989的博客 572

Kubernetes安装系列之heapster安装

虽然heapster已经即将退休,为了纪念一下,这篇文章整理一下heapster+grafana+Influxdb组合对于kubernetes的node与资源进行监控的插件安装与设定方法,本文以脚本的方式进行固化,内容仍然放在github的easypack上。

知行合一 止于至善 5928

本地部署DeepSeek-Coder-6.7B 离线版的完整指南:打造适配当前系统的AI助手

《DeepSeek-Coder-6.7B本地部署指南》详细介绍了如何离线部署这款专注于代码生成的AI模型。文章涵盖硬件要求(推荐8核CPU、32GB内存、NVIDIA RTX3080显卡)、软件依赖(Python3.8+、CUDA11.0+、PyTorch1.9+)以及具体安装步骤,包括模型下载、路径配置和GPU加速设置。重点说明如何通过输入系统配置文档和使用说明书,让模型生成适配特定系统的代码,并提供了参数调优和模型微调的方法。该指南旨在帮助开发者在本地安全高效地使用AI助手,实现代码自动生成与优化,提升

欢迎来到我的优快云博客!我专注于技术创新和数字化转型,特别是在低代码平台、人工智能和大数据分析领域的探索与应用。通过深入分析各种行业案例,帮助企业加速数字化进程,提升运营效率与创新能力。在这里,您将找到关于低代码平台、AI技术、数据分析与 1497

Kubernetes监控体系(三)之Heapster介绍

1. heapster简介 Heapster是容器集群监控和性能分析工具,支持Kubernetes和CoreOS。 Kubernetes有个监控agent—cAdvisor。在每个kubernetes Node上都会运行cAdvisor,它会收集本机以及容器的监控数据(cpu,memory,filesystem,network,uptime)。 2. heapster部署与配置 2.1

胡伟煌的博客 8380

2.4G跳频算法 2.4G切信道算法 (简例示意nRF52832)

2.4G跳频算法 nRF52832示例 2.4G自适应信道算法

Peter.Min 958

【华为OD机试真题 2025C卷】238、贪吃蛇 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS)

【华为OD机试真题 2025C卷】238、贪吃蛇 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS) 华为od机试,华为od机试真题,华为od机试E卷,华为odE卷,华为od机试真题E卷,华为OD,华为OD机试,华为OD机试真题,华为od机考,华为od机试D卷,华为od机试真题D卷,华为od手撕代码,华为od,华为od机试C卷,华为od e卷,华为2025e卷,od机试,2025E卷,华为OD机试E卷,什么是华为od,华为od介绍,全面了解华为od,2025华为od,如何备战华为od,

正在更新最新华为OD机试2025B卷,提供OJ在线刷题 197

kubernetes-1.8.0版本部署heapster-1.5.3监控实践

一、部署环境 操作系统: Ubuntu16.04.1 k8s: 1.8.0 (CA认证) dashboard v1.8.3 二、部署 heapster -1.5.3 ①下载yaml模版 wget https://github.com/kubernetes/heapster/ar...

qq_38695182的博客 756

网工、运维利器:MobaXterm,一款全能的远程工具

你好,这里是网络技术联盟站,我是瑞哥。是一款由Mobatek开发的多功能远程计算机管理工具,集成了多种网络协议和工具,专为网络工程师和系统管理员设计。它提供了丰富的远程连接功能,包括SSH、RDP、VNC、X11转发等,支持文件传输和多标签界面,内置了文本编辑器和多种网络工具,是一款全能的远程管理软件。MobaXterm的开发起始于2008年,最初只是一个简单的X服务器,但随着用户需求的不断增加和软件的逐步完善,MobaXterm逐渐发展成了一款功能全面、界面友好的远程管理工具。

网络技术联盟站 5230

Kubernetes Heapster

Heapster是容器集群监控和性能分析工具,HPA、Dashborad、Kubectl top都依赖于heapster收集的数据。 但是Heapster从kubernetes 1.8以后已经被遗弃了...... 被metrics-server所替代...... kubernetes 1.11 中部署Heapster 1.5.4版本的过程 Heapster 部署yaml文件 apiVersi...

coco3848的博客 69

低功耗边缘设备部署指南:YOLO26 INT8量化与TensorRT加速全流程

将YOLO26 INT8部署到低功耗边缘设备,核心原则是“校准为王、敏感层精准回退、端到端验证”。校准集≥500张,来自真实推理场景,未经训练增强校准集预处理与推理pipeline逐行对齐trtexec命令必带--fp16作为fallback量化后用polygraphy定位敏感层,而非盲猜仅回退必要层(通常2-3个),保留INT8收益在真实部署场景测试集上验证mAP,不以COCO为准C++部署使用异步推理+双缓冲nsys profiling确认无传输瓶颈。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 216

MATLAB R2023a下载链接及软件安装教程

MATLAB的基本数据单位是矩阵,它的指令表达式与数学、工程中常用的形式十分相似,故用MATLAB来解算问题要比用C,FORTRAN等语言完成相同的事情简捷得多,并且MATLAB也吸收了像Maple等软件的优点,使MATLAB成为一个强大的数学软件。a是上半年,b是下半年版本,但是有些小弱们总是觉得只要是b一定功能多,这不一定的,同年版本b比a可能稍微全点,不同年的,比如21b,22a,肯定22a要比21b版本高功能多了。10、选择目标文件夹,默认的是C盘,想修改的话可以单击【浏览】,然后单击【下一步】

qq_53545309的博客 5169

IT苦工指南 | Kubernetes v1.8.x全手动安装

最近,有部分用户飘了…… 觉得Rainbond提供的既简洁、又易用、而且生产就绪的Kubernets体验不过瘾…… 想要挑战一下Kubernetes全手动部署…… 并在凌晨一点拨通了客服小哥的电话…… 因此本着不重复造轮子并且关爱客服小哥身心健康的主张,我们搬来了Kairen的精彩教程—— 开始 Kubernetes官方提供了多种安装方式Picking the right soluti...

好雨云帮 优快云 博客 575

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

kubernetes1.8 部署安装

环境说明:我这里的部署环境是三台虚拟机master:172.17.80.10、node01:172.17.80.11、node02:172.17.80.12Linux系统内核为:3.10.0-327.el7.x86_64 kubernetes版本:1.8因需要上google,download p_w_picpath和kubernetes软件包,我事先己经使用proxy下载...

weixin_33796205的博客 432

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Kubernetes Dashboard1.8.3部署

Kubernetes Dashboard1.8.3部署 说明下文中所需镜像请点击images自行下载使用! 安装dashboard #下载yaml wget https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml #查看yaml中i...

weixin_33841722的博客 260

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

k8s dashboard

Copyright 2017 The Kubernetes Authors. Licensed under the Apache License, Version 2.0 (the “License”); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Un

qq_25705173的博客 236

使用kubeadm安装Kubernetes 1.8版本

kubeadm是Kubernetes官方提供的快速安装和初始化Kubernetes集群的工具,目前的还处于孵化开发状态,伴随Kubernetes每个版本的发布都会同步更新。 当然,目前的kubeadm是不能用于生产环境的。 但伴随着Kubernetes每次版本升级,kubeadm都会对集群配置方面的一些实践做调整,通过实验kubeadm我们可以学习到Ku...

weixin_34111790的博客 236

k8s各种插件安装

手动搭建Kubernetes

weixin_41865866的博客 390

kubernetes之部署dashboard 和heapster

部署dashboard之前,先确保traefik https方式部署成功,这样就可以通过 https 域名的方式访问dashboard,无需kube-proxy转发了。假设traefik-ingress https部署完成。 下载dashboard yaml文件 wget https://raw.githubusercontent.com/kubernetes/dashboard/mas...

weixin_33860722的博客 482

部署Kubernetes Dashboard 及监控组件 Heapster

部署Dashboard 项目地址:https://github.com/kubernetes/dashboard 1.下载官方提供的 Dashboard 组件部署的 yaml 文件 wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboa...

wfs 1万+

K8s部署Heapster踩坑记录

InfluxDB pod in CrashLoopBackoff or Error 报错信息:run: open server: listen: listen tcp 205.178.189.131:8088: bind: cannot assign requested address

RSQ博客 2108
上一篇: Kubernetes Dashboard集成Heapster
下一篇: 从kubernetes看如何设计超大规模资源调度系统
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值