三夜莺n9e(Flashcat)监控采集器categraf

一categraf监控采集器github介绍

1代码仓库:https://github.com/flashcatcloud/categraf/
或者在夜莺flashcat的官网下:https://flashcat.cloud/download/

image.png
categraf-v0.2.36-linux-amd64-with-cgo-plugin.tar.gz # 带 cgo 插件的版本,目前cgo插件有两个 oracle 和 arp
categraf-v0.2.41-linux-amd64.tar.gz # linux + amd64 环境下运行的版本
categraf-v0.2.41-linux-arm64.tar.gz # linux + arm64 环境下运行的版本
categraf-v0.2.41-windows-amd64.zip # windows + amd64 环境下运行的版本
categraf-v0.2.41-windows-arm64.zip # windows + arm64 环境下运行的版本

2其中input目录下可以看各种采集不同模块

image.png

3进入其中一个模块
alert-xxxx.json就是告警规则的json,可以直接导入到夜莺
dashboard就是大盘的json,可以直接导入到夜莺

image.png

image.png
4k8s的监控采集说明没有在input目录下,它在和input平级的目录下
image.png

二categraf配置文件

相关介绍来自:https://flashcat.cloud/docs/content/flashcat-monitor/categraf/3-configuration/
categraf启动时 可以通过-configs参数指定配置目录,如果不指定,会默认读取工作目录下的conf。 conf 目录结构如下:

  • config.toml # 主配置
  • logs.toml # logs-agent 配置
  • prometheus.toml # prometheus agent 配置
  • traces.yaml # trace-agent 配置
  • conf/input./.toml 插件配置文件(metrics.agent的逻辑和功能)
    • 配置文件中一般会有个instance,每个instance一般对应一个采集对象
    • 如果要采集多个对象,需要配置多个instance
(一)主配置文件
[global]
# 启动的时候是否在stdout中打印配置内容
print_configs = false

# 机器名,作为本机的唯一标识,会为时序数据自动附加一个 agent_hostname=$hostname 的标签
# hostname 配置如果为空,自动取本机的机器名
# hostname 配置如果不为空,就使用用户配置的内容作为hostname
# 用户配置的hostname字符串中,可以包含变量,目前支持两个变量,
# $hostname 和 $ip,如果字符串中出现这两个变量,就会自动替换
# $hostname 自动替换为本机机器名,$ip 自动替换为本机IP
# 建议大家使用 --test 做一下测试,看看输出的内容是否符合预期
# 这里配置的内容,再--test模式下,会显示为 agent_hostname=xxx 的标签 
hostname = ""


# 是否忽略主机名的标签,如果设置为true,时序数据中就不会自动附加agent_hostname=$hostname 的标签
omit_hostname = false

# 时序数据的时间戳使用ms还是s,默认是ms,是因为remote write协议使用ms作为时间戳的单位
precision = "ms"

# 全局采集频率,15秒采集一次
interval = 15

# 全局附加标签,一行一个,这些写的标签会自动附到时序数据上
# [global.labels]
# region = "shanghai"
# env = "localhost"

[log]
# 默认的log输出,到标准输出(stdout) 
# 如果指定为文件, 则写入到指定的文件中
file_name = "stdout"

# options below will not be work when file_name is stdout or stderr
# 如果是写入文件,最大写入大小,单位是MB
max_size = 100
# max_age is the maximum number of days to retain old log files based on the timestamp encoded in their filename.
# 保留多少天的日志文件
max_age = 1
# max_backups is the maximum number of old log files to retain.
# 保留多少个日志文件
max_backups = 1
# local_time determines if the time used for formatting the timestamps in backup files is the computer's local time.
# 是否使用本地时间
local_time = true
# Compress determines if the rotated log files should be compressed using gzip.
# 是否将老文件压缩(gzip格式)
compress = false

# 发给后端的时序数据,会先被扔到 categraf 内存队列里,每个采集插件一个队列
# chan_size 定义了队列最大长度(最多存多少个指标)
# batch 是每次从队列中取多少条,发送给后端backend
[writer_opt]
# default: 2000
batch = 2000
# channel(as queue) size
chan_size = 10000

# 后端backend配置,在toml中 [[]] 表示数组,所以可以配置多个writer
# 每个writer可以有不同的url,不同的basic auth信息
[[writers]]
# 注意端口号
# v5版本端口是19000
# v6版本端口是17000
url = "http://127.0.0.1:19000/prometheus/v1/write"

# Basic auth username
basic_auth_user = ""

# Basic auth password
basic_auth_pass = ""

# timeout settings, unit: ms
#推送一次指的标超时时间
timeout = 5000
#连接后端的超时时间
dial_timeout = 2500
#每个机器最大空闲连接数
max_idle_conns_per_host = 100

# 是否开启push gateway
[http]
enable = false
address = ":9100"
print_access = false
run_mode = "release"

# 是否启用告警自愈agent
[ibex]
enable = false
## ibex flush interval
interval = "1000ms"
## n9e ibex server rpc address
servers = ["127.0.0.1:20090"]
## temp script dir
meta_dir = "./meta"

# 心跳上报(附带资源信息,对象列表中使用)给夜莺v6
# 如果是v5版本,这里不需要保留
[heartbeat]
enable = true

# report os version cpu.util mem.util metadata
url = "http://127.0.0.1:17000/v1/n9e/heartbeat"

# interval, unit: s
interval = 10

# Basic auth username
basic_auth_user = ""

# Basic auth password
basic_auth_pass = ""

## Optional headers
# headers = ["X-From", "categraf", "X-Xyz", "abc"]

# timeout settings, unit: ms
timeout = 5000
dial_timeout = 2500
max_idle_conns_per_host = 100
(二) conf/input./.toml 插件配置文件

以exec模块的配置为例

# # collect interval
# interval = 15

[[instances]]
# # commands, support glob
commands = [
     "/opt/categraf/scripts/*/collect_*.sh"
     #"/opt/categraf/scripts/*/collect_*.py"
     #"/opt/categraf/scripts/*/collect_*.go"
     #"/opt/categraf/scripts/*/collect_*.lua"
     #"/opt/categraf/scripts/*/collect_*.java"
     #"/opt/categraf/scripts/*/collect_*.bat"
     #"/opt/categraf/scripts/*/collect_*.cmd"
     #"/opt/categraf/scripts/*/collect_*.ps1"
]

# # timeout for each command to complete
# timeout = 5

# # interval = global.interval * interval_times
# interval_times = 1

# # mesurement,labelkey1=labelval1,labelkey2=labelval2 field1=1.2,field2=2.3
data_format = "influx"
1. interval
  • interval=15 #采集周期是15s
    interval = 60
    interval = “60s”
    interval = “1m”
    可以使用的单位有:秒:s 分钟:m 小时:h
  • timeout = 5 #脚本执行的超时时间。5s没返回认为超时
  • interval_times = 1 #表示 interval 的倍数,这个[[instances]]里面的脚本的执行周期为interval_times的值乘以最上面interval的值
  • data_format = “influx” #采集脚本的数据格式
2. instances

很多采集插件的配置中,都有 instances 配置段,用 [[]] 包住,说明是数组,即,可以出现多个 [[instances]] 配置段

[[instances]]
targets = [
    "www.baidu.com",
    "127.0.0.1",
    "10.4.5.6",
    "10.4.5.7"
]

也可以下面这样子配置:

[[instances]]
targets = [
    "www.baidu.com",
    "127.0.0.1"
]

[[instances]]
targets = [
    "10.4.5.6",
    "10.4.5.7"
]
3. 关于tls的配置
use_tls = false
  tls_min_version = "1.2"
  tls_ca = "/etc/categraf/ca.pem"
  tls_cert = "/etc/categraf/cert.pem"
  tls_key = "/etc/categraf/key.pem"
  ## Use TLS but skip chain & host verification
  insecure_skip_verify = true
  • use_tls 为true时,表示使用tls连接mysql。 如果正式是自签证书,想要避免 X509: certificate signed by unknown authority 错误,可以设置 insecure_skip_verify = true

  • 注意 目前的设计两个参数是共同起作用的,单独设置insecure_skip_verify = true无法避免 X509: certificate signed by unknown authority。

  • tls_min_version 表示支持的最小tls版本,可选值是1.0 1.1 1.2 1.3 分别对应 TLS1.0 到TLS1.3 。 SSLv3 不支持。

  • tls_ca tls_cert tls_key 分别是ca证书,客户端证书,客户端私钥。

4. 隐藏了一些无用指标输出

假设,我想 drop 掉以 timestamp 结尾的指标,可以这么配置:

[[instances]]
targets = [
     "https://flashcat.cloud"
]

metrics_drop = ["*timestamp"]

如果我只想保留以 timestamp 结尾的指标,忽略其他指标

[[instances]]
targets = [
     "https://flashcat.cloud"
]

metrics_pass = ["*timestamp"]
5. 为指标增加前缀

所有针对 flashcat.cloud 的探测指标,统一增加了 ulricqin_ 的前缀。

[[instances]]
targets = [
     "https://flashcat.cloud"
]

metrics_name_prefix = "ulricqin_"
6. 数据转换

从 InternalConfig 中可以看到还有一个配置是 processor_enum,这个是用于数据转换的,比如某些插件采集的数据可能是可枚举的字符串,字符串无法写入 Prometheus 生态的时序库,此时要把这些可枚举的字符串转换为数字。

[[processor_enum]]
  metrics = ["*status"]
  [processor_enum.value_mappings]
    up = 1
    down = 0

针对 status 结尾的指标,采集到了两个值,一个是 up 一个是 down,都是字符串,然后通过 processor_enum 把字符串转换成了不同的数字。

(三) conf/logs.toml配置文件

https://flashcat.cloud/docs/content/flashcat-monitor/categraf/4-logs-agent/

(四) conf/prometheus-agent配置文件

https://flashcat.cloud/docs/content/flashcat-monitor/categraf/5-prometheus/

(五) conf/traces-agent配置配置文件

https://flashcat.cloud/docs/content/flashcat-monitor/categraf/6-traces/

三categraf的使用

官网下载包,解压

image.png
conf下有各个插件,config.toml是主配置文件。
以input.开头就会识别这个模块。 也可以自己建input.xxx的目录。把配置文件放进去

image.png

如果要一次性测试、查看多个插件的输出:./categraf --test --inputs mysql:cpu:mem, 注意使用冒号来分割多个插件。
(test模式,只是模拟采集数据,不会真正上报)
如./categraf --test --inputs cpu

image.png

修改完配置文件,重启categraf
导入大盘和告警规则

四提问和报bug

03-13
<think>嗯,用户想了解Kubernetes中Pod的使用和操作。首先,我需要回忆一下Kubernetes的基础知识,Pod是Kubernetes中最小的部署单元,通常包含一个或多个容器。用户可能想知道如何查看Pod的状态,管理它们的生命周期,或者进行调试。 首先,用户可能需要基本的命令,比如使用kubectl get pods来列出所有Pod。不过根据引用[3],用户可能已经应用过一些配置,所以需要提到命名空间,比如加上-n参数。例如kubectl get pods -n flashcat,这样能查看特定命名空间的Pod。 接下来,用户可能需要详细查看Pod的信息,比如kubectl describe pod <pod-name>,这会显示Pod的事件和配置,帮助诊断问题。另外,查看日志也很重要,kubectl logs <pod-name>可以获取容器日志,如果Pod有多个容器,可能需要加上-c参数指定容器。 关于端口转发,引用[2]提到service代理Pod的端口,但有时候可能需要直接访问Pod的端口进行调试,这时候kubectl port-forward就很有用。比如将本地的8080转发到Pod的80端口,方便测试。 资源监控方面,用户可能需要知道如何查看Pod的资源使用情况,比如CPU和内存。kubectl top pod可以显示这些信息,但需要Metrics Server安装。引用[4]里提到了PersistentVolumeClaim,可能用户有存储相关的Pod,需要监控资源使用情况。 删除Pod的话,kubectl delete pod <pod-name>是基本操作,但如果是Deployment管理的Pod,删除后会被重建,这时候需要调整Deployment的副本数或者修改配置。引用[1]提到Deployment的Pod的DNS解析,这可能和Service相关,删除Pod可能会影响服务发现,需要注意。 关于Pod的YAML配置,用户可能需要了解如何导出或编辑现有Pod的配置。kubectl get pod -o yaml可以导出配置,但直接编辑Pod可能不生效,应该通过修改Deployment或DaemonSet来更新。引用[3]中的apply命令说明用户可能已经熟悉如何应用配置变更,所以需要强调正确的方法。 进入Pod执行命令,比如kubectl exec -it进入容器,这对于调试很有帮助。例如检查文件系统或运行诊断工具。 最后,用户可能遇到的问题,比如Pod处于Pending状态,可能是资源不足或调度问题;CrashLoopBackOff可能是容器启动失败,需要检查日志。引用[4]中的PVC创建可能和存储问题相关,如果Pod挂载PVC失败,也会导致问题。 总结下来,需要分步骤讲解基本操作、监控、调试和常见问题处理,并结合用户提供的引用中的信息,比如Service的端口代理和DNS解析,以及配置应用的注意事项。确保用户能全面了解Pod的管理和故障排除方法。</think>### Kubernetes Pod 使用与操作方法 #### 一、查看 Pod 基本信息 1. **列出命名空间下的所有 Pod** 使用命令 `kubectl get pods -n <namespace>`,例如: ```bash kubectl get pods -n flashcat ``` 输出示例: ``` NAME READY STATUS RESTARTS AGE categraf-5d4c8f6d7f-9jq6k 1/1 Running 0 2d ``` 2. **查看 Pod 详细信息** 使用 `kubectl describe pod <pod-name> -n <namespace>`,例如: ```bash kubectl describe pod categraf-5d4c8f6d7f-9jq6k -n flashcat ``` 输出包括 Pod 事件、容器状态、IP 地址等信息,可用于调试[^3]。 --- #### 二、Pod 生命周期管理 1. **删除 Pod** 删除后,若 Pod 由 Deployment/Daemonset 管理,会自动重建: ```bash kubectl delete pod <pod-name> -n <namespace> ``` 2. **编辑 Pod 配置** 通过修改关联的 Deployment 或 Daemonset 实现: ```bash kubectl edit deployment/<deployment-name> -n <namespace> ``` --- #### 三、调试与日志 1. **查看 Pod 日志** 使用 `kubectl logs <pod-name> -n <namespace>`: ```bash kubectl logs categraf-5d4c8f6d7f-9jq6k -n flashcat ``` 若 Pod 含多个容器,需指定容器名: ```bash kubectl logs <pod-name> -c <container-name> -n <namespace> ``` 2. **进入 Pod 执行命令** 使用 `kubectl exec` 进入容器: ```bash kubectl exec -it <pod-name> -n <namespace> -- /bin/sh ``` --- #### 四、网络与端口操作 1. **端口转发** 将本地端口映射到 Pod 端口(例如本地 8080 映射到 Pod 80): ```bash kubectl port-forward <pod-name> 8080:80 -n <namespace> ``` 访问 `http://localhost:8080` 即可测试服务[^2]。 2. **DNS 解析规则** Pod 的 DNS 名称格式为: `pod-ip-address.<deployment-name>.<namespace>.svc.cluster.local` 例如:`10.244.1.3.categraf.flashcat.svc.cluster.local`[^1]。 --- #### 五、资源监控 1. **查看 Pod 资源使用** 需安装 Metrics Server 后执行: ```bash kubectl top pod -n <namespace> ``` 输出示例: ``` NAME CPU(cores) MEMORY(bytes) categraf-5d4c8f6d7f-9jq6k 5m 50Mi ``` --- #### 六、存储管理 1. **挂载持久化存储** 通过 PVC(PersistentVolumeClaim)实现,例如引用[4]中的 Redis 配置: ```yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: namespace: demo-test name: redis-data spec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi storageClassName: nfs-storage ``` 应用配置: ```bash kubectl apply -f redis-data.yaml ``` --- #### 七、常见问题排查 1. **Pod 处于 `Pending` 状态** - 原因:资源不足或调度失败 - 解决方法:检查节点资源或调整资源请求值。 2. **Pod 处于 `CrashLoopBackOff` 状态** - 原因:容器启动失败 - 解决方法:查看日志定位错误,例如: ```bash kubectl logs <pod-name> --previous -n <namespace> ``` --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值