<think>好的，用户现在想要在
Kubernetes集群内
部署Elasticsearch、Fluentd和
Kibana（EFK）技术栈的文档。首先，我需要理解用户的需求。用户可能正在搭建一个日志管理系统，用于收集、存储和可视化
Kubernetes中的日志。EFK是一个常见的组合，其中Fluentd负责日志收集，
Elasticsearch存储日志，
Kibana提供可视化界面。
接下来，我需要考虑用户可能的背景。他们可能是有一定
Kubernetes基础的系统管理员或DevOps工程师，但可能对EFK的具体
部署步骤不太熟悉。用户可能希望有一个详细的指南，帮助他们一步步完成
部署，并解决可能遇到的问题。
然后，我需要组织内容结构。首先介绍EFK各组件的作用，然后详细说明
部署步骤，包括命名空间创建、
Elasticsearch部署、Fluentd配置、
Kibana部署以及验证步骤。此外，常见问题和优化建议也很重要，帮助用户应对实际
部署中的挑战。
在编写具体步骤时，需要注意
Kubernetes的资源配置，比如
Elasticsearch的StatefulSet需要持久化存储，资源限制，以及节点亲和性设置。Fluentd的配置需要涉及DaemonSet，确保每个节点运行一个Pod来收集日志。
Kibana的
部署则需要注意服务暴露的方式，比如NodePort或Ingress。
同时，要检查用户之前的问题历史。用户之前询问过Filebeat处理多行日志的问题，现在转向EFK，可能对日志收集的可靠性和扩展性有更高要求。因此，在文档中需要强调Fluentd在多行日志处理上的优势，并可能提供相关配置示例。
另外，用户可能关心如何验证
部署是否成功，所以需要包括检查Pod状态、访问
Kibana界面以及测试日志收集的步骤。常见问题部分需要覆盖存储问题、资源不足、Fluentd配置错误等，提供具体的解决方案。
最后，优化建议部分应该帮助用户提升性能和稳定性，比如
Elasticsearch的索引策略、Fluentd的缓冲区配置和
Kibana的优化。这些内容能够帮助用户在生产环境中更好地管理EFK栈。
总结来说，需要提供一个结构清晰、步骤详细、包含故障排查和优化建议的文档，帮助用户在
K8s上顺利
部署EFK，满足日志管理的需求。</think>以下是基于
Kubernetes 集群
部署 **
Elasticsearch + Fluentd
+ Kibana (EFK
)** 技术栈的完整文档：
---
### 一、架构概述
```mermaid
graph TD
A[应用Pod日志] -->|stdout/stderr| B[
K8s节点/var/log/containers]
B -->|DaemonSet采集| C[Fluentd]
C -->|结构化处理| D[
Elasticsearch]
D -->|数据存储| E[
Kibana可视化]
```
---
### 二、前置条件
1. **
Kubernetes 集群版本** ≥ 1.18
2. **存储类
(StorageClass
)**：支持动态卷供应（如 `rook-ceph`, `nfs`）
3. **资源配额**：建议每个节点预留至少 2CPU
+ 4GB 内存
4. **Helm 工具**：用于快速
部署（版本 ≥ 3.0）
---
### 三、详细
部署步骤
#### 步骤 1：创建专用命名空间
```bash
kubectl create namespace efk
```
#### 步骤 2：
部署 Elasticsearch
```yaml
#
elasticsearch-statefulset.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
name:
elasticsearch
namespace: efk
spec:
serviceName:
elasticsearch
replicas: 3
selector:
matchLabels:
app:
elasticsearch
template:
metadata:
labels:
app:
elasticsearch
spec:
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values: ["
elasticsearch"]
topologyKey: "
kubernetes.io/hostname"
containers:
- name:
elasticsearch
image:
docker.elastic.co/
elasticsearch/
elasticsearch:7.17.3
resources:
limits:
memory: 4Gi
requests:
cpu: 1000m
memory: 2Gi
env:
- name: discovery.type
value: single-node # 生产环境需改为 zen 发现机制
- name: ES_JAVA_OPTS
value: "-Xms2g -Xmx2g"
ports:
- containerPort: 9200
name: http
volumeMounts:
- name: data
mountPath: /usr/share/
elasticsearch/data
volumes:
- name: data
persistentVolumeClaim:
claimName: es-data-pvc
---
#
elasticsearch-service.yaml
apiVersion: v1
kind: Service
metadata:
name:
elasticsearch
namespace: efk
spec:
selector:
app:
elasticsearch
ports:
- port: 9200
name: http
clusterIP: None
```
#### 步骤 3：
部署 Fluentd
```yaml
# fluentd-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: fluentd-config
namespace: efk
data:
fluent.conf: |
<source>
@type tail
path /var/log/containers/*.log
pos_file /var/log/fluentd-containers.log.pos
tag kube.*
read_from_head true
<parse>
@type json
time_format %Y-%m-%dT%H:%M:%S.%NZ
</parse>
</source>
<filter kube.**>
@type
kubernetes_metadata
</filter>
<match kube.**>
@type
elasticsearch
host
elasticsearch.efk.svc.cluster.local
port 9200
logstash_format true
logstash_prefix fluentd
flush_interval 5s
</match>
---
# fluentd-daemonset.yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: fluentd
namespace: efk
spec:
selector:
matchLabels:
app: fluentd
template:
metadata:
labels:
app: fluentd
spec:
tolerations:
- key: node-role.
kubernetes.io/master
effect: NoSchedule
containers:
- name: fluentd
image: fluent/fluentd-
kubernetes-daemonset:v1.16-debian-
elasticsearch7
env:
- name: FLUENT_
ELASTICSEARCH_HOST
value: "
elasticsearch.efk.svc.cluster.local"
- name: FLUENT_
ELASTICSEARCH_PORT
value: "9200"
resources:
limits:
memory: 512Mi
requests:
cpu: 100m
memory: 200Mi
volumeMounts:
- name: varlog
mountPath: /var/log
- name: config-volume
mountPath: /fluentd/etc/conf.d
volumes:
- name: varlog
hostPath:
path: /var/log
- name: config-volume
configMap:
name: fluentd-config
```
#### 步骤 4：
部署 Kibana
```yaml
#
kibana-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name:
kibana
namespace: efk
spec:
replicas: 1
selector:
matchLabels:
app:
kibana
template:
metadata:
labels:
app:
kibana
spec:
containers:
- name:
kibana
image:
docker.elastic.co/
kibana/
kibana:7.17.3
resources:
limits:
memory: 1Gi
requests:
cpu: 500m
memory: 512Mi
env:
- name:
ELASTICSEARCH_HOSTS
value: "http://
elasticsearch.efk.svc.cluster.local:9200"
ports:
- containerPort: 5601
---
#
kibana-service.yaml
apiVersion: v1
kind: Service
metadata:
name:
kibana
namespace: efk
spec:
type: NodePort
selector:
app:
kibana
ports:
- port: 5601
targetPort: 5601
nodePort: 30601
```
---
### 四、验证
部署
1. **检查 Pod 状态**：
```bash
kubectl -n efk get pods -l app=
elasticsearch
kubectl -n efk get pods -l app=fluentd
kubectl -n efk get pods -l app=
kibana
```
2. **访问
Kibana**：
- 浏览器访问 `http://<任意节点IP>:30601`
- 创建索引模式 `fluentd-*`
3. **测试日志收集**：
```bash
kubectl run test-logger --image=alpine -- sh -c "while true; do echo 'EFK test log'; sleep 5; done"
```
---
### 五、常见问题处理
#### 问题 1：
Elasticsearch 无法启动
- **现象**：Pod 处于 `CrashLoopBackOff` 状态
- **排查**：
```bash
kubectl -n efk logs
elasticsearch-0
```
- **解决方案**：检查存储类是否可用，调整 Java 堆内存参数
#### 问题 2：Fluentd 无法连接
Elasticsearch
- **现象**：日志中出现 `Connection refused` 错误
- **排查**：
```bash
kubectl -n efk exec -it fluentd-xxxxx -- curl
elasticsearch:9200
```
- **解决方案**：检查 Service 域名解析，确认网络策略允许通信
---
### 六、生产环境优化建议
1. **
Elasticsearch 优化**：
- 使用专用节点角色（master/data/ingest）
- 配置索引生命周期管理
(ILM
)
```yaml
# 示例索引模板
PUT _template/logs
{
"index_patterns": ["fluentd-*"],
"settings": {
"number_of_shards": 3,
"number_of_replicas": 1,
"index.lifecycle.name": "logs_policy"
}
}
```
2. **Fluentd 优化**：
- 增加缓冲区配置防止数据丢失
```conf
<match **>
@type
elasticsearch
buffer_type memory
buffer_chunk_limit 32m
buffer_queue_limit 1024
flush_interval 5s
</match>
```
3. **
Kibana 优化**：
- 启用 X-Pack 安全模块
- 配置 Ingress
+ TLS 证书
---
### 附：快速
部署命令（Helm 方式）
```bash
# 添加 Helm 仓库
helm repo add elastic https://helm.elastic.co
#
部署 Elasticsearch
helm install
elasticsearch elastic/
elasticsearch -n efk
#
部署 Kibana
helm install
kibana elastic/
kibana -n efk
#
部署 Fluentd
helm install fluentd stable/fluentd --set
elasticsearch.host=
elasticsearch-master.efk.svc.cluster.local
```
扫一扫
2038
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
