centos7 使用rpm包部署filebeat

原创

已于 2024-03-07 14:52:42 修改 · 867 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#服务器 #linux #运维

于 2024-03-06 16:43:38 首次发布

本文介绍了如何在虚拟机上部署Elasticsearch集群，步骤包括下载并安装Filebeat的RPM包，修改配置文件以使用标准输入和命令行输出，以及注意事项如偏移量文件管理和meta.json的备份。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先决条件参考

虚拟机部署elasticsearch集群-优快云博客

下载并安装filebeat的rpm包

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.18-x86_64.rpm
 rpm -vi filebeat-7.17.18-x86_64.rpm

修改配置文件

配置文件内容可以参考

Repositories for APT and YUM | Filebeat Reference [7.17] | Elastic 根据实际的情况进行input配置.

mkdir /etc/filebeat/config

cat > /etc/filebeat/config/01-stdin-to-console.yml <<'EOF'
# 指定输⼊的类型
filebeat.inputs:
# 指定输⼊的类型为"stdin",表示标准输⼊
- typ

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

被一米六支配的恐惧

关注关注

9
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

在CentOS 7上安装Filebeat大数据

2301_79366435的博客

09-02

566

确保选择正确的索引模式，并检查是否有来自Filebeat的日志数据。Filebeat是一个轻量级的开源日志数据收集器，用于将日志和文件数据从服务器发送到中央日志存储或分析系统。至此，您已成功在CentOS 7上安装和配置Filebeat，并将日志数据发送到Elasticsearch进行大数据分析。完成配置后，我们可以启动Filebeat并将其设置为在系统启动时自动启动。接下来，我们需要配置Filebeat以指定要收集和发送的日志文件。如果一切顺利，您将看到Filebeat开始读取和发送指定的日志文件。

CentOS8下安装MySQL8.0.27（rpm包安装方式）

邓邓子的博客

12-01

2455

下载地址：https://dev.mysql.com/downloads/mysql/8.0.html

参与评论您还未登录，请先登录后发表或查看评论

rpm 安装filebeat

qq_26900081的博客

09-23

3015

下载地址：https://www.elastic.co/cn/downloads/past-releases#filebeat 安装：rpm -ivh filebeat-7.8.1-x86_64.rpm 配置：vi /etc/filebeat 启动：systemctl start filebeat 停止：systemctl stop filebeat 重启：systemctl restart filebeat 开机自启动：systemctl enable filebeat 开机不启动：s.

Centos7部署Filebeat并接入Graylog

最新发布

chenggang1916的博客

04-23

471

Graylog部署完成后可以通过filebeat快速搜集和发送客户端日志到graylog服务器

【centos 7】安装filebeat

piano_diano的博客

06-15

1557

filebeat 是Elastic技术栈中的文件收集器，用于将日志文件的内容发送到es或者是logstash中 1、从官网中下载安装包注意：要与ES的版本一致 2、将安装包上传到服务器中，然后解压 3、解压完毕后，进入到目录中，修改filebeat.yml文件 filebeat.inputs: # Each - is an input. Most options can be set at the input level, so # you can use different inputs fo.

ELK+FileBeat 在：Centos7 环境下的安装与部署

qq_57629110的博客

07-20

682

进入logstash-7.14.0/config目录下编辑logstash-sample.conf文件，当然也可以新建一个配置文件，这里以logstash-sample.conf为例。这里的outputs设置，采用输出到logstash后再输入es的方式，因此将es output的配置注释，将logstash的配置打开并配置logstash的hosts。在input->beats->port默认是5044，后面部署的filebeat的日志都会发送到这里，所以filebeat里面的配置要和这里的保持一致。

CentOS7 安装 Filebeat

jeikerxiao

12-05

6505

CentOS7 安装 Filebeat下载Filebeat解压修改配置文件启动Filebeat配置 Logstash启动Logstash 下载Filebeat cd /opt/software/ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.1-linux-x86_64.tar.gz 解压 tar...

filebeat-7.12.1-linux-x86_64.tar.gz

09-29

**文件名：filebeat-7.12.1-linux-x86_64.tar.gz** 在IT领域，尤其是日志管理和分析中，`filebeat`是至关重要...在实际操作中，正确配置和使用Filebeat，能够帮助企业或组织更好地监控系统状态，及时发现和解决问题。

filebeat 教程

08-05

1256

【代码】filebeat 教程。

CentOS 7部署Graylog

完颜振江

06-06

793

启动安装Elasticsearch。安装Elasticsearch。

centos7中filebeat-安装-收集日志

aaliliaa的博客

10-20

323

es安装参考：http://www.duozhi.online/2023/10/20/centos7%e4%b8%ades%e5%ae%89%e8%a3%85/kibana安装参考：http://www.duozhi.online/2023/10/20/centos7%e4%b8%ad%e5%ae%89%e8%a3%85kibana/k8s集群的两个节点。

filebeat-7.3.1-x86_64.rpm

10-11

filebeat7.3.1 rpm包，希望能自己使用。也有全套的elk安装包

filebeat-6.2.2-x86_64.rpm

03-20

Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读)

filebeat-7.5.0-x86_64.rpm

07-29

filebeat-7.5.0-x86_64.rpm

Centos7 docker-compose安装ELK+Filebeat.zip

10-16

Centos7 docker-compose安装ELK+Filebeat.zip 存放这里，让大家下载快捷一点

Centos7搭建ELK+filebeat.docx

08-24

Centos7搭建ELK+filebeat，公司现用体系架构，解决了开发没有权限查看线上日志的情况，

CentOS7和8下安装Filebeat

邓邓子的博客

03-10

918

https://www.elastic.co/cn/downloads/beats/filebeat

centos安装filebeat7.1.1

zhangkanglei的博客

02-04

607

【代码】centos安装filebeat7.1.1。

centos7搭建filebeat

weixin_30924087的博客

12-27

365

filebeat的环境搭建 cd /home/elk wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-linux-x86_64.tar.gz tar -zvxf filebeat-6.2.4-linux-x86_64.tar.gz mv filebeat-6.2.4-linux-x86_...

部署filebeat

02-20

<think>好的，用户现在想了解如何部署Filebeat。让我先回顾一下之前的对话。之前用户询问了关于`filebeat.config.modules`的配置，我详细介绍了模块的作用、配置方式以及与Kafka结合使用的示例。现在用户的问题是关于部署Filebeat，可能需要一个全面的指南。首先，我需要确定用户的背景。他们可能刚开始接触Filebeat，或者已经有一定了解但需要部署步骤。考虑到他们之前问过模块配置，可能他们正在设置日志收集系统，可能用于生产环境，并且可能使用Elastic Stack或Kafka。我需要覆盖不同的部署场景，比如单机、集群、容器化部署，以及如何与Elasticsearch或Kafka集成。接下来，用户可能的深层需求是什么？他们可能想知道部署的最佳实践，常见问题如何解决，或者如何验证部署是否成功。需要确保回答不仅列出步骤，还包括验证方法和注意事项。我应该从基础开始，分步骤介绍安装、配置、启动，然后扩展到不同环境，比如Docker和Kubernetes，因为这些是常见的部署方式。同时，要提到如何根据输出目标（如Elasticsearch或Kafka）调整配置，因为用户之前配置过Kafka输出，这可能仍然是他们的用例之一。另外，用户可能需要安全相关的建议，比如如何配置SSL/TLS，如何处理权限问题，这些在部署时很重要。还要包括性能调优的提示，如调整工作线程数，确保资源使用合理。最后，检查是否需要补充故障排除的步骤，比如查看日志文件，测试配置是否正确。可能还需要提醒用户注意版本兼容性，尤其是在与Elasticsearch和Kafka集成时，不同版本可能需要不同的配置。总结起来，回答需要结构清晰，涵盖不同部署方式，配置示例，安全考虑，性能优化和验证步骤。确保用户能够按照步骤顺利部署，并理解关键注意事项。</think>以下是 Filebeat 的部署流程及核心注意事项，涵盖 **安装、配置、验证** 等关键步骤： --- ### **1. 部署前准备** #### **(1) 环境要求** - **操作系统**：支持 Linux、Windows、macOS 等（[官方支持列表](https://www.elastic.co/support/matrix)）。 - **资源需求**：轻量级，通常 1 核 CPU + 512MB 内存即可处理中等日志量。 - **网络权限**：确保 Filebeat 可访问目标输出（如 Elasticsearch/Kafka 的 IP:Port）。 #### **(2) 版本选择** - 与 Elasticsearch/Kibana 主版本号一致（如 Filebeat 8.x 搭配 ES 8.x）。 - 下载地址：https://www.elastic.co/downloads/beats/filebeat --- ### **2. 安装 Filebeat** #### **(1) Linux 系统（Debian/Ubuntu）** ```bash # 下载并安装 curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.10.0-amd64.deb sudo dpkg -i filebeat-8.10.0-amd64.deb # 配置文件路径 /etc/filebeat/filebeat.yml # 主配置文件 /etc/filebeat/modules.d/ # 模块配置目录 ``` #### **(2) Linux 系统（RHEL/CentOS）** ```bash # 下载并安装 curl -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.10.0-x86_64.rpm sudo rpm -vi filebeat-8.10.0-x86_64.rpm ``` #### **(3) Windows 系统** - 从官网下载 ZIP 包，解压到 `C:\Program Files\Filebeat`。 - 通过 PowerShell 安装服务： ```powershell cd "C:\Program Files\Filebeat" .\install-service-filebeat.ps1 ``` --- ### **3. 基础配置（以 Elasticsearch 输出为例）** 编辑 `/etc/filebeat/filebeat.yml`： ```yaml # 输入配置（采集日志） filebeat.inputs: - type: filestream enabled: true paths: - /var/log/*.log # 监控所有 .log 文件 - /var/app/logs/*.json # 支持 JSON 日志 # 模块配置（可选，需先启用模块） filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false # 输出到 Elasticsearch output.elasticsearch: hosts: ["http://es-node1:9200", "http://es-node2:9200"] username: "elastic" password: "your_password" indices: - index: "filebeat-logs-%{+yyyy.MM.dd}" # 按日期分索引 # 启用 Kibana 仪表板（可选） setup.kibana: host: "http://kibana:5601" ``` --- ### **4. 高级部署模式** #### **(1) 容器化部署（Docker）** ```bash docker run -d \ --name=filebeat \ -v /var/log:/host/log:ro \ # 挂载宿主机日志目录 -v ./filebeat.yml:/usr/share/filebeat/filebeat.yml:ro \ docker.elastic.co/beats/filebeat:8.10.0 ``` #### **(2) Kubernetes 部署（DaemonSet）** ```yaml apiVersion: apps/v1 kind: DaemonSet metadata: name: filebeat spec: selector: matchLabels: app: filebeat template: metadata: labels: app: filebeat spec: containers: - name: filebeat image: docker.elastic.co/beats/filebeat:8.10.0 volumeMounts: - name: varlog mountPath: /var/log - name: config mountPath: /usr/share/filebeat/filebeat.yml subPath: filebeat.yml volumes: - name: varlog hostPath: path: /var/log - name: config configMap: name: filebeat-config ``` --- ### **5. 安全配置** #### **(1) 加密通信（TLS）** ```yaml output.elasticsearch: hosts: ["https://es-node:9200"] ssl: certificate_authorities: ["/path/to/ca.crt"] certificate: "/path/to/client.crt" key: "/path/to/client.key" ``` #### **(2) 权限控制** - Elasticsearch 用户需拥有 `monitoring_user` 和 `filebeat_writer` 角色。 - 使用 Keystore 加密敏感信息： ```bash filebeat keystore create filebeat keystore add ES_PASSWORD ``` --- ### **6. 启动与验证** #### **(1) 启动服务** ```bash # Linux (Systemd) sudo systemctl enable filebeat sudo systemctl start filebeat # Windows Start-Service filebeat ``` #### **(2) 验证日志采集** - 检查 Filebeat 日志： ```bash tail -f /var/log/filebeat/filebeat ``` - 测试 Elasticsearch 索引是否存在： ```bash curl http://es-node:9200/_cat/indices?v | grep filebeat ``` #### **(3) 导入 Kibana 仪表板（可选）** ```bash filebeat setup --dashboards ``` --- ### **7. 性能调优** | 参数 | 说明 | |--|----------------------------------------------------------------------| | `queue.mem.events` | 内存队列大小（默认 4096），根据日志量调整 | | `max_procs` | 使用 CPU 核数（默认所有核心） | | `logging.level` | 日志级别（`warning` 可减少 I/O 开销） | | `processors` | 添加 `drop_event` 过滤无关日志，减少传输量 | --- ### **8. 常见问题** #### **(1) 日志未发送** - 检查 `output` 配置的 IP/端口、防火墙规则。 - 运行测试命令：`filebeat test output`。 #### **(2) 权限不足** - 确保 Filebeat 用户有权读取目标日志文件： ```bash sudo setfacl -R -m u:filebeat:r /var/log/nginx/ ``` #### **(3) 高 CPU 使用率** - 减少 `processors` 复杂度或限制采集路径范围。 - 分拆多个 Filebeat 实例分担负载。 --- 通过以上步骤，你可以快速完成 Filebeat 的部署与基础运维。根据实际场景选择输出目标（如 Kafka、Logstash）并调整配置即可。