阿里云日志服务(ELK)

本文介绍了从直接使用NGINX日志到采用阿里云日志服务的过程,包括日志服务的配置步骤、Logstore创建及日志搜集脚本logtail的安装与使用。

最早公司日志采用直接NGINX单机日志保存和备份日志文件,通过GOACCESS来分析。

随后架构更新为负载均衡+多台nginx服务器前端服务器模式后,这么搜集和保存日志就不行了,所以直接使用了ELK采集,保存和查看日志。

最近发现阿里云本身就能提供日志服务。所以改用阿里云的日志服务采集。

 

首先需要开通日志服务,然后创建一个project。

需要开始创建Logstore,这个类似于ElasticSearch里的一个域(可能不准确)

 

根据自己需求设置即可。。500M一下免费,所以我日志只保存了90天。。。

这是还需要添加一个机器组

 

设置完毕后可以指定采集模式,选择NGINX

这个也是根据直接NGINX服务器上的具体配置选择,主要就是日志文件路径和名称,日志格式。

接着就可以去ECS上进行日志搜集工作了。

之前采用Logstash采集日志实在是太重了。所以在阿里云上提供了相关的自动采集服务(脚本)logtail

#wget http://logtail-release-cn-hangzhou.oss-cn-hangzhou-internal.aliyuncs.com/linux64/logtail.sh -O logtail.sh; chmod 755 logtail.sh; ./logtail.sh install cn-hangzhou

 直接运行安装即可。安装完毕后会直接运行,centos下使用chkconfig添加至启动项,ubuntu下使用update-rc.d添加至启动项。(没记错的话安装完毕就已经添加了启动项了)

至此搜集数据已经功能已经完成,可以直接通过日志服务-->日志库中直接查询。

转载于:https://www.cnblogs.com/colinshi/p/9640447.html

你可以使用以下步骤使用Docker Compose安装ELK(Elasticsearch, Logstash和Kibana)并使用阿里云镜像: 1. 首先,在你的项目目录下创建一个名为 `docker-compose.yml` 的文件。 2. 打开 `docker-compose.yml` 文件并添加以下内容: ```yaml version: '3.7' services: elasticsearch: image: registry.cn-hangzhou.aliyuncs.com/elasticsearch/elasticsearch:7.13.2 container_name: elasticsearch environment: - discovery.type=single-node ports: - 9200:9200 volumes: - esdata:/usr/share/elasticsearch/data logstash: image: registry.cn-hangzhou.aliyuncs.com/logstash/logstash:7.13.2 container_name: logstash ports: - 5000:5000 volumes: - ./logstash/config:/usr/share/logstash/pipeline depends_on: - elasticsearch kibana: image: registry.cn-hangzhou.aliyuncs.com/kibana/kibana:7.13.2 container_name: kibana ports: - 5601:5601 depends_on: - elasticsearch volumes: esdata: ``` 3. 创建一个名为 `logstash` 的目录,用于存放 Logstash 的配置文件。在 `logstash` 目录中创建一个名为 `config` 的子目录。 4. 在 `config` 目录中创建一个名为 `logstash.conf` 的文件,并将以下内容添加到文件中: ```conf input { tcp { port => 5000 codec => json_lines } } output { elasticsearch { hosts => "elasticsearch:9200" index => "logs-%{+YYYY.MM.dd}" } } ``` 这个配置将监听端口5000上的TCP输入,并将收到的日志数据传输到Elasticsearch。 5. 确保你已经安装了Docker和Docker Compose,并在命令行中导航到包含 `docker-compose.yml` 文件的目录。 6. 运行以下命令启动ELK堆栈: ```bash docker-compose up -d ``` 7. 等待一段时间,直到所有容器启动并完成初始化。 现在,你可以通过访问 `http://localhost:5601` 来访问Kibana界面,`http://localhost:9200` 来访问Elasticsearch。 请注意,上述示例使用了7.13.2版本的ELK镜像。你可以根据需要更改版本号。此外,你还可以根据你的需求自定义配置和参数。 希望这对你有帮助!如果有任何问题,请随时问我。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值