宇宙浪子的专栏

概述日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角色。作为一个日志采集的Agent简单来看其实就是一个将数据从源端投递到目的端的程序，通常目的端是一个具备数据订阅功能的集中存储，这么做的目的...

文章目录1、Consul 介绍2、环境、软件准备3、Consul 安装配置3.1、源码安装3.2、Docker 安装4、API 注册服务到 Consul5、配置 Prometheus 实现自动服务发现6、配置 relabel_configs 实现自定义标签及分类1、Consul 介绍Consul 是基于 GO 语言开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理...

我们知道，在单体应用的架构下一旦程序发生了故障，那么整个应用可能就没法使用了，所以我们要把单体应用拆分成具有多个服务的微服务架构，来减少故障的影响范围。但是在微服务架构下，有一个新的问题就是，由于服务数变多了，假设单个服务的故障率是不变的，那么整体微服务系统的故障率其实是提高了的。比如：假设单个服务的故障率是0.01%，也就是可用性是99.99%，如果我们总共有10个微服务，那么我们整体的...

「 调用链监控 」是在微服务兴起后才有的一种新流行的监控模式。因为在我们传统单体应用的项目中，不存在服务链/调用链的概念，所以也就根本没有调用链监控的需求了。当我们开始微服务架构之后，我们的很多服务变成分布式的了，并且我们对服务进行了拆分，拆分之后，用户的一个请求进来，会依次经过不同的服务节点进行处理，处理完成后再返回结果给用户。那么在整个处理的链条中，如果有任何一个节点出现了延迟或者问题...

在微服务架构的系列文章中，前面已经通过文章分别介绍过了微服务的「服务注册 」、「服务网关 」、「配置中心 」，今天这篇文章我们继续来聊一聊另外一个重要模块：「 监控系统 」。因为在微服务的架构下，我们对服务进行了拆分，所以用户的每次请求不再是由某一个服务独立完成了，而是变成了多个服务一起配合完成。这种情况下，一旦请求出现异常，我们必须得知道是在哪个服务环节出了故障，就需要对每一个服务，以及...

CAT 简介CAT 是基于 Java 开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务。 CAT 作为服务端项目基础组件，提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、...

目录微服务专栏地址目录1. 简介2. 什么是调用链3. 为什么要监控调用链4. 要监控哪些方面5. 调用链监控原理是什么5.1 监控原理图6. 有什么技术解决方案6.1 解决方案6.2 对比7. 监控技术选型如何选择1. 简介微服务的调用链监控是解决微服务的复杂性带来的一系列问题的强有效手段之一，从一下几个方面来先理解微服务调用链监控相关：简介...

　　专栏：微服务 　　微服务系列总目录目录微服务专栏地址目录1. 简介2. 为什么需要监控体系3. 与单体应用有什么区别4. 要监控什么5. 监控体系和分层6. 监控架构和主流技术栈1. 简介监控的重要性不言而喻， 微服务架构的特点决定了其监控实现更具有挑战性与难度，从以下方面理解微服务的监控相关（非特别指明的监控都是指的微服务架构体系下的监控）： 1. 简...

了解和学习TICK栈不久，还有很多需要进一步深入。但我个人非常看好这个项目，也希望更进一步研究，同时，在阅读源码和二次开发中，希望技术上能有所提升。另外，telegraf有CPU毛刺，已经转战更稳定的老牌 collectd。同时，生产环境，grafana 也是非常不错的选择，不需要二次开发，即可满足大部分需求。前端框架一个用的reactjs，一个angular1.5。感觉chronogra...

日志数据是最常见的一种海量数据，以拥有大量用户群体的电商平台为例，双 11 大促活动期间，它们可能每小时的日志数量达到百亿规模，海量的日志数据暴增，随之给技术团队带来严峻的挑战。本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比；后续调优过程：横向扩展与纵向扩展，分集群，数据分治，重写数据链路等实际现象与问题展开。日志系统架构基准...

ELK Stack 简介ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。Elasticsearch：分...

问题导读： 1.Flume的存在些什么问题？ 2.基于开源的Flume美团增加了哪些功能？ 3.Flume系统如何调优？ 在《基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲述在实际部署和使用过程中遇到的问题，对Flume的功能改进和对系统...

问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集...