本文介绍了携程如何使用ELK（Elasticsearch, Logstash, Kibana）构建日志分析平台，解决传统日志分析工具在大规模分布式环境中的局限。通过定制和优化，实现了高效、稳定的日志处理，满足了多样化的日志分析需求，并逐渐扩展到更多业务场景。"
113314831,10547644,使用canal解析与消费MySQL binlog实战,"['数据库管理', '数据同步', 'MySQL复制', 'canal框架']
源起
日志，看似简单简单的文本，在网站运维人员眼里却似一座蕴含丰富的宝藏。通常以下运维任务都或多或少需要运维人员和日志打交道:
-
系统健康状况监控
-
查找故障根源
-
系统瓶颈诊断和调优
-
追踪安全相关问题
技能熟练的Linux SA们能够很快的组合诸如grep, awk这样的命令，奇幻般的从日志中挖掘出有用的信息；亦或是研发人员往往会基于MySQL,MongoDB,HBase开发自己的日志存储和分析工具。
然而互联网大规模、分布式的特性决定了日志的源头越来越分散，产生的速度越来越快，传统的手段和工具显得日益力不从心。市场对新工具的需求已然催生出Splunk这样近百亿美元市值的专业日志分析解决方案供应商。
从2013年携程网站运营中心成立伊始，集中化的运维日志分析平台就被提上议事日程。作为中国最大的OTA网站，携程基础设施每日产生的各类日志有好几十种，量级在数个TB级别，如果采用Splunk这样的商业软件，每年的授权费用就要近千万。昂贵的授权费用驱使我们深入研究这个领域，寻求商业软件以外的替代方案。
小试牛刀
一线运维部门对于日志分析工具有如下几个重要的期盼点:
-
日志要支持多种数据源
-
日志解析方式灵活但简单
-
支持关键词搜索和浏览，能支持组合条件搜索
最低0.47元/天 解锁文章
扫一扫
610
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
