Docker ELK 教程：从入门到实战

Docker ELK 教程：从入门到实战

docker-elk-tutorial docker-elk-tutorial + django + logging 项目地址: https://gitcode.com/gh_mirrors/do/docker-elk-tutorial

项目介绍

Docker ELK 教程 是一个由 Twtrubiks 开发的开源项目，旨在帮助开发者快速搭建和理解 Elasticsearch、Logstash、Kibana (ELK Stack) 的 Docker 化环境。此项目特别强调如何结合 Django 框架进行日志管理和通过 Python 发送日志至 ELK，同时也涵盖 Docker 容器的日志集成，使得日志处理更加集中化、高效化。

• Elasticsearch 是一个分布式搜索和分析引擎，用于存储和检索数据。
• Logstash 作为日志收集、转换和传输的工具。
• Kibana 提供可视化的界面，便于数据分析与展示。

此教程通过一系列 YouTube 视频及代码实例，逐步指导用户从零开始构建 ELK 环境，并将其应用于实际项目中。

项目快速启动

获取项目

首先，从 GitHub 上克隆项目：

git clone https://github.com/twtrubiks/docker-elk-tutorial.git
cd docker-elk-tutorial

启动 ELK 环境

利用 Docker Compose 进行快速部署:

docker-compose up -d

等待所有服务初始化完成。默认端口包括：

• 5000: Logstash TCP input
• 9200: Elasticsearch HTTP
• 9300: Elasticsearch TCP transport
• 5601: Kibana
• 可选添加的 UDP 端口 12201 用于 Logstash 输入。

配置索引模式

访问 Kibana:

• 浏览器打开 http://localhost:5601/
• 若需要设定索引模式，可手动执行或通过 API 设置，例如对于 Mac/Linux 用户：

  curl -XPOST -D- "http://localhost:5601/api/saved_objects/index-pattern" \
      -H "Content-Type: application/json" \
      -H "kbn-version: 6.1.0" \
      -d '["attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}]'
  

应用案例与最佳实践

• Python 日志发送: 利用 python-logstash 库，将应用程序日志直接发送至 ELK，实现集中式日志管理。

  # 安装依赖
  pip install python-logstash
  
  # 示例脚本配置日志
  import logging
  from logstash import TCPLogstashHandler
  
  host = 'localhost'
  test_logger = logging.getLogger('python-logstash-logger')
  test_logger.setLevel(logging.INFO)
  test_logger.addHandler(TCPLogstashHandler(host, 5000, version=1))
  
  test_logger.error('Test logstash error message')
  

• Django 集成: 在 Django 项目中配置日志，确保特定级别的日志（如警告及错误）被传给 ELK，提升错误追踪效率。

典型生态项目

• Docker Logging Driver: 利用 Docker 自带的日志驱动（如 syslog 和第三方如 gelf），自动将容器产生的日志路由到 ELK 中，实现全栈日志统一管理。

  # 示例：使用 Syslog 驱动发送日志到 ELK 的 TCP 端口
  docker run --log-driver=syslog --log-opt syslog-address=tcp://0.0.0.0:5000 alpine echo "Example log entry"
  

这个教程不仅覆盖了ELK的基本部署，还深入到了集成外部应用如Django，以及利用Docker增强日志管理能力，适合希望利用ELK栈进行日志管理的开发者学习和参考。通过这些步骤，开发者能够迅速地设置并开始利用ELK的强大功能。

docker-elk-tutorial docker-elk-tutorial + django + logging 项目地址: https://gitcode.com/gh_mirrors/do/docker-elk-tutorial