鹰眼 | 分布式日志系统上云的架构和实践

阿里巴巴鹰眼系统简介 微服务框架带来的好处十分多,比如说它提高了开发的效率,它具备更好的扩展性。而这些问题也就是我们的鹰眼系统需要解决的问题。 阅读详情

导语 | 930变革后,公司明确了“开源协同、自研上云”的公司技术战略,通过自研业务上云,整合资源使用、推动架构能力互补,促进自研业务与云产品协同发展,同时实现产业互联网发展战略和促进腾讯云业务做大做强。公司也专门成立了组织架构单元大力推动公司级业务上云。为了响应这个号召,分布式日志系统(鹰眼)也在积极探索将原有业务迁入云端的方案。

目录

一、鹰眼平台介绍
二、上云的背景
三、组件上云架构优化和云上组件选型
四、上云之后的变化
五、后续架构的演进,监控体系的完善。

 

一、鹰眼平台介绍

鹰眼是是由PCG技术运营部负责运营负责的海量级分布式实时监控和日志分析系统,支持多语言的上报。

域名是:http://log2.oa.com/

鹰眼的数据上报:

鹰眼的数据上报是通过ATTA提供的,ATTA支持多语言的上报(JAVA,Python,C++等),上报之后,鹰眼从ATTA系统拉取数据最终写入到ES,通过ES的倒排索引机制,快速查询功能,写入功能等。

 

使用ES的倒排索引机制,百亿数据秒级查询返回的能力,鹰眼提供了以下功能:

1.实时日志查询服务数据上报到atta之后,开发可以通过鹰眼及时查询到日志,定位问题,运维可以通过鹰眼提供的数据统计界面实时查询到业务的运行情况。

2.数据分析能力:鹰眼数据入库后,用户可以通过API直接调用,进行OLAP分析。

3.错误日志告警服务。

程序如果出现错误之后,可以按照鹰眼规范来上报错误日志,鹰眼进行分词,根据不同的错误码进行分钟级别的告警。

 

4. 通过grafana对上报到鹰眼的数据进行实时的分析告警。

(由于ES不支持大并发查询,所以无法对超大数据进行实时分析)

 

二、上云的背景

930调整,成立新的云事业群,内部成立“技术委员会”,启动“开源协同”和“业务上云”的两大战略方向。

在架构演进中,鹰眼团队上云能得到什么好处?上云的价值是什么?

1、业务价值 

  • 聚焦业务,提升研发效率
    加快技术换代,保持技术优势(传统互联网 vs 云时代)
    使用更好的云开源组件服务(可用性、稳定性、文档API…)
    计算资源重用,弹性伸缩,优化成本
    标准化CI/CD流程

2、工程师价值 

  • 扩宽技术视野,避免闭门造车
    掌握的技能更有价值
    输出优秀组件到云,提高影响力

3、腾讯云价值 

  • 为客户输出业务上云经验
    帮助腾讯云打磨云组件

     

三、组件上云架构选型

为了保证业务的延续性和架构的演进,数据导入过程中的主体流程并没有太大改变,Kafka直接使用到云上的CKAFKA,ES直接使用到云上的ES。

ES和Kafka直接使用云上组件,其他组件需要进行重构。

重构LogSender:

生产者程序写入Kafka性能瓶颈特别大,高峰期丢数据特别严重。

生产者程序写数据流程如下:

读取BOSS订阅->IP解析->写入Kafka。

IP解析性能瓶颈:之前生产者程序是C++版本,经过打印日志,发现高峰期IP解析耗时特别严重。排查代码,发现IP解析加锁了。所以高峰期丢数据特别严重。

将IP解析改为二分查找算法来进行IP定位,然后取消锁,解决。

Kafka性能瓶颈问题:由于我们生产者程序,一个程序会读取很多很多个topic,然后写入到kafka,我们尝试,使用一个producer和多个producer发送,性能都提升不起来。

经过源代码排查,发现kafka发送时,会根据topic分区来锁队列,当这个队列满的时候,就会发送一批消息出去。所以解决方案为,每个BOSSID应该有独立的发送客户端。

1.数据量大的,有多个kafka客户端

2.数据量小的一批topic,可以共用一个kafka生产者。

优化之后:在数据量非常大的时候,因为程序性能原因,会导致一分钟单节点最多只能处理13万条左右的数据。改进后, 单节点能处理55w条左右的数据。  性能提升4倍。

Kafka选型:

Kafka整体来说,高版本比低版本支持的功能更多,如事务,磁盘间的数据转移等,写入性能并不会下降。此处选型选的最高版本。

当然ckafka并没有给我们选择版本的机会,客户端写入的时候还是得注意下和kafka服务端版本一致,避免不必要的问题。

如低版本的客户端写入高版本的kafka时,如果使用数据压缩,则服务端接受到数据后,会解压,然后再按照对应的格式压缩(如果版本一致,则不会有此动作),增加服务端的运行成本。

Kafka上云之后,单机性能能达到400MB/s,而我们自建的kafka,单机性能最多达到100MB/s,性能提升4倍。

重构Hangout:

ES写入部分,业界有很多组件,最出名的是logstach,由于性能不够,我们自己重新开发了一套读取kafka写入ES的组件。

组件

单机测试(BX1)

备注

Logstash

30000

后端日志采集这一层logstash 是用jruby来编写的,大家都知道像jruby这样的动态语言其实比较适合做web网站的快速开发(ror),像日志采集的后端应用,需要负责日志的采集和解析,尤其像解析日志会很耗cpu的,这样数据量一大很容易碰天花板

Heka

12000

对比logstash,其处理数据过程,对机器性能消耗较少,‘体重较轻’,但是其官方公布的测试数据,直接stdout输出,且中间无太多fiter,encode过程,单heka实例处理速度不过是30000条/s

自研hangout

200000

1. 通过多线程读取不同的Kafka分片,将客户端进行分组,充分利用CPU资源,将写入速度达到10w/s。
2. 通过Bulk request routing机制,将每一批次的数据使用同一个route值,ES服务端接收时,会把这一批次的数据统一发送到一个节点上,可以减少网络传输压力(之前ES需要把一批次数据打散之后发送),充分利用磁盘顺序读写的能力,增大写入性能到20w/s

 

核心优化点介绍:

由于磁盘IO的大幅减少,能在极限优化下继续提升性能2倍以上。

整体来说,ES写入提升性能6倍左右。

ES选型:

ES低版本支持tcp写入和http写入两种方式,高版本只支持一种http写入方式。实测发现有如下区别:

1. TCP写入比HTTP更快。

2. HTTP写入更稳定一点,TCP写入是直接写到节点上面的,容易出现负载不均衡,HTTP更容易通过数据节点节点进行负载均衡。

因此我们采用了云版本ES 6.8.2。 

上云之后的效果:

平均写入1TB数据,云下需要 80核,256G内存 12TB磁盘 (BX1机型)

云上需要  3 * (16核 64GB 5TB硬盘 )

平均节省资源1倍左右。

 

四、上云之后的变化

ES/KAFKA上云之后,统计有50多个ES集群,12个Kafka集群.

1. 工作量的减少

如果不上云的话,搭建这些集群平均一个ES集群需要20台机器,从申请机器,到机器初始化,磁盘RAID,安装ES,平均一个ES需要3-4人/天,则搭建成本就已经需要200多人(62*3-4)/天了,还没有谈到集群运维成本,远远超过鹰眼团队的人力。

2. 成本的减少

上云之后,伴随着各个组件的优化,整体性能提升至少2-3倍,所需要的资源同比会减少2-3倍、每年节省成本至少2kw。

3. 工作更加聚焦

上云之后:

鹰眼聚焦于写入性能优化,大大提升了写入效率。

监控体系的建立,数据上报到ATTA之后,就进行数据对账,及时发现数据的延迟给出告警。

在新功能开发上,基于ES支持隔天查询,如果当日数据暴涨之后,通过建立备份索引的机制增大写入量。

 

五、后续架构的演进,监控体系的完善。

1.核心模块既要有日志,也要有监控,不同模块的监控维度对应起来,让核心的模块,日志和监控都有,当业务出现异常时,及时调出发生异常的基础数据(如CPU/Mem等),指标数据,日志数据等进行完整的监控体系的建设。

2. 架构持续升级。

目前自研hangout写入只能保证at least once,但是无法保证exactly once。尝试通过flink的checkpoint机制,保证数据链路的完整性。

 

作者介绍:董磊,PCG平台与内容事业群/PCG技术运营部/技术运营服务中心/运营开发组。

 


社区底图

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

分布式链路追踪系统Skywalking的部署和应用 通过对比可以看到,Pinpoint和Skywalking不相上下,各有优劣,从界面、操作,集成方式来说,Pinpoint更好, 不过因为种种不得已的原因,我们今天还是聚焦在Skywalking上,它的优点是部署难度低,监控范围广、维度多,对代码侵入少,系统性能损失低,还支持接入 ELK 进行存储展示。下图描述的是树结构的Span集合,表示一次完整的跟踪,从请求到服务器开始,服务器返回response结束,跟踪每次rpc调用的耗时,存在唯一标识trace_id。cat: 大众点评开发的实时应用监控平台。 阅读详情

相关推荐

SkyWalking深度解析:企业级分布式监控与性能优化实战

本文深度解析了Apache SkyWalking在企业级分布式监控与性能优化中的实战应用。作为一款开源的APM工具,SkyWalking通过无侵入式探针实现微服务架构的分布式追踪与性能指标分析,帮助运维和开发团队快速定位系统瓶颈,从被动救火转向主动防御。文章详细介绍了其核心架构、两种企业级部署方案、微服务集成方法、关键配置调优以及利用监控数据驱动性能优化的实战策略。

weixin_29304021的博客 269

分布式日志系统的设计和实践

什么是日志日志是一种按照时间顺序存储记录的数据,它记录了什么时间发生了什么事情,提供精确的系统记录,根据日志信息可以定位到错误详情和根源。按照APM概念的定义,日志的特点是描述一些离散的(不连续的)事件。日志是按照错误级别分级的,常见的错误级别有 FATAL / WARNING / NOTICE / DEBUG / TRACE 5种类型。通常我们会在项目里面定义一个日志打印级别,高于这个级别的错误...

架构文摘 474

阿里巴巴的鹰眼全链路监控系统各组件实现介绍

鹰眼下的淘宝 ---分布式调用跟踪系统介绍 全链路追踪(调用链路监控)最出名的是谷歌公开的论文提到的Dapper(中文版)。开发Dapper是为了收集更多的复杂分布式系统的行为信息,理解分布式系统的行为。这就需要监控那些横跨了不同的应用、不同的服务器之间的关联动作。在复杂的微服务架构系统中,几乎每一个前端请求都会形成一个复杂的分布式服务调用链路。

#研发解决方案介绍#Tracing(鹰眼)

郑昀 最后更新于2014/11/12 关键词:GoogleDapper、分布式跟踪、鹰眼、Tracing、HBase、HDFS、 本文档适用人员:研发   分布式系统为什么需要 Tracing?   先介绍一个概念:分布式跟踪,或分布式追踪。   电商平台由数以百计的分布式服务构成,每一个请求路由过来后,会经过多个业务系统并留下足迹,并产生对各种Cache或DB的访...

weixin_34318326的博客 1014

腾讯鹰眼系统的技术演进之路-千亿级实时日志分析系统

腾讯鹰眼系统的技术演进之路-千亿级实时日志分析系统腾讯鹰眼系统的技术演进之路-千亿级实时日志分析系统腾讯鹰眼系统的技术演进之路-千亿级实时日志分析系统

STM32使用ASR01语音播报模块

自己再根据鹿小班模块进行操作进行相关操作,先接上usb数据线。这里提供一套修改好的天问程序模板和stm32f103模板。这里使用的asr01语音播报模块是模块化编程。这里使用的asr01语音播报模块是模块化编程。记得先生成模型再去编译下载。先下载天问block软件。

lml1781978327的博客 1万+

阿里巴巴鹰眼系统了解

业务背景 上图是 2012 年淘宝核心业务应用关系的拓扑图,还不包含了其他的非核心业务应用,所谓的核心业务就是和交易相关的,和钱相关的业务。这张图大家可能看不清楚,看不清楚才是正常的,因为当时的阿里应用数量之多、应用间关系之混乱靠人工确实已经无法理清楚了。 基于微服务体系之下构建的业务系统存在的问题基本上分为四类: 第一个是故障定位难,今天我们淘宝下单的动作,用户在页面上点购买按钮,这么...

yongshenghuang的博客 1万+

电影票购票小程序搭建(源码部署)

答:为用户提供便捷的购票方式,包括授权登录、个性化推荐、在线选座、订单管理等功能,同时在界面设计上注重用户友好性,简化用户的购票流程。答:通过展示电影院的优惠活动和票价信息,同时提供电影推荐功能,根据用户的历史购票记录和电影评分推荐个性化的电影列表,吸引用户购票。编写页面逻辑代码:使用JavaScript编写小程序页面的逻辑代码,实现电影列表的获取、电影详情的展示、座位选择的逻辑等。设计小程序界面:使用WXML和WXSS编写小程序的界面代码,实现电影列表的展示、电影详情的样式、座位选择页面的布局等。

2301_79072569的博客 2068

鹰眼海量级分布式日志系统上云的架构和实践

​导语| 鹰眼是由腾讯PCG技术运营部负责的海量级分布式实时监控和日志分析系统,为响应公司战略要求,将原先的业务迁移上云,最终产生了可喜的变化。本文将介绍分布式日志系统(鹰眼)的整体上云方案,希望与大家一同交流。 一、鹰眼平台介绍 鹰眼是由PCG技术运营部负责的海量级分布式实时监控和日志分析系统,支持多语言的上报,域名为:http://log2.oa.com/ 鹰眼的数据上报是通过ATTA提供的,ATTA支持多语言的上报(JAVA,Python,C++等),上报之后,鹰眼从ATTA系统拉取...

QcloudCommunity的博客 1265

新手避坑指南:用镭神C32和KVH 1750 IMU做标定,为什么直接上lidar_align会失败?

本文详细解析了使用镭神C32激光雷达和KVH 1750 IMU进行标定时常见的失败原因及解决方案。从IMU的微分传感器特性到Lidar-IMU标定的数学本质,再到可行的标定方案和实操注意事项,帮助新手避开认知陷阱,掌握正确的标定方法。

weixin_30162121的博客 328

IPC-7351标准实战:如何用LPWizard_10快速生成PCB封装库(附避坑指南)

本文提供了一份详细的IPC-7351标准实战指南,手把手教你使用LPWizard_10软件快速生成符合行业标准的PCB封装库,并直接导入Cadence Allegro。文章深入解读了IPC-7351密度等级的选择逻辑,并重点分享了软件配置、QFN封装生成实战步骤,以及导出失败、焊盘异常等常见问题的避坑解决方案,旨在帮助硬件工程师提升设计效率和可靠性。

weixin_29207439的博客 159

db2 producer 输出日志_鹰眼海量级分布式日志系统上云的架构和实践

导语| 鹰眼是由腾讯PCG技术运营部负责的海量级分布式实时监控和日志分析系统,为响应公司战略要求,将原先的业务迁移上云,最终产生了可喜的变化。本文将介绍分布式日志系统(鹰眼)的整体上云方案,希望与大家一同交流。一、鹰眼平台介绍鹰眼是由PCG技术运营部负责的海量级分布式实时监控和日志分析系统,支持多语言的上报,域名为:http://log2.oa.com/鹰眼的数据上报是通过ATTA提供...

weixin_39861882的博客 128

NVMe与PCIe的完美结合:高速存储背后的技术解析

本文深入解析了NVMe与PCIe技术如何完美结合,实现高速存储性能的飞跃。从机械硬盘到NVMe SSD的进化历程出发,详细介绍了PCIe总线的高带宽优势与NVMe协议的低延迟设计,以及两者协同工作带来的显著性能提升。通过实测数据对比,展示了NVMe SSD在消费级和企业级应用中的卓越表现,并提供了选购与优化建议。

weixin_29216353的博客 378

分布式日志系统上云的架构和实践

930变革后,公司明确了“开源协同、自研上云”的公司技术战略,通过自研业务上云,整合资源使用、推动架构能力互补,促进自研业务与云产品协同发展,同时实现产业互联网发展战略和促进腾讯云业务做大做强。公司也专门成立了组织架构单元大力推动公司级业务上云。为了响应这个号召,分布式日志系统(鹰眼)也在积极探索将原有业务迁入云端的方案。 目录 一、鹰眼平台介绍 二、上云的背景 三、组件上云架构优化和云上组件选型 四、上云之后的变化 五、后续架构的演进,监控体系的完善。 一、鹰眼平台介绍 鹰眼是是由PCG技术运营部负责运营

m0_50620175的博客 409

多模态脑区细分图谱 HCP-MMP v1.0, Glasser et al. 2016 皮层和皮下区域,简写和全称对应关系

人类连接组计划多模态脑区细分图谱(HCP-MMP)提供了对人类大脑皮层区域的非常有用的细分(Glasser et al. 2016a, b)。图谱是多模态的,因为每个区域都是根据四个标准的组合定义的,包括结构(T1加权/T2加权髓鞘含量和皮层厚度图)、静息态功能连接、基于任务的激活和拓扑地形组织。HCP-MMP v1.0图谱包含每个半球180个皮层区域,基于210名参与者的分析。

从事脑科学核磁共振方法学研究,在Nature communications等权威期刊发表研究论文,熟练掌握磁共振处理方法和统计学方法,欢迎大家和我交流。 2627

手把手教你学Simulink--基于车联网与智能交通系统的场景实例:基于车联网(V2X)的实时路况信息共享与处理

《基于Simulink的车联网(V2X)实时路况共享系统仿真》摘要:本文详细介绍使用Simulink构建V2X智能交通系统的完整方法。系统包含交通路网建模、V2X通信实现(支持DSRC/C-V2X标准)、多源路况信息融合、动态路径规划等核心模块。通过对比实验,验证V2X可使平均车速提升52%,行程时间缩短34%,显著提升交通效率。文章还探讨了AI预测调度、车辆编队等高级应用,为智慧交通系统开发提供实用参考。所需工具包括Simulink、SimEvents及无线通信工具箱等。

MHD0815的博客 739

开放分布式追踪(OpenTracing)入门与 Jaeger 实现

摘要: 分布式系统的运维挑战 容器、Serverless 编程方式的诞生极大提升了软件交付与部署的效率。在架构的演化过程中,可以看到两个变化: 应用架构开始从单体系统逐步转变为微服务,其中的业务逻辑随之而来就会变成微服务之间的调用与请求。分布式系统的运维挑战容器、Serverless 编程方式的诞生极大提升了软件交付与部署的效率。在架构的演化过程中,可以看到两个变化:应用架构开始从单体系统逐步转变...

aliyunyunqi的博客 1万+

LVGL core theme主题管理(lv_theme.c)

如果打开宏,主题的初始化是在显示设备注册时完成的。整个themes的实现放在目录下面。这里一共有三套主题(basic、default和mono)可供选择或者参考。源码中默认对接的是 default 主题,所以在中,看到的是调用default主题的接口。也就是说,如果需要更换主题,把这里面的接口换掉就可以了。或者要重新做一套主题,参考这些实现修改也就可以了。虽说有三套主题,但逻辑流程是一样的。主要完成两个工作:构造lv_theme_t结构体和初始化默认样多备用(style_init函数内实现)。构造。....

Bigan(安)的博客 3414

分布式调用链调研(pinpoint、skywalking、jaeger、zipkin等对比)

蝉之洞 5483

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

分布式追踪方案

分布式追踪方案.md 参考文档 OpenTracing官网 OpenTracing标准(中文版) OpenTracing:开放式分布式追踪规范 开放分布式追踪(OpenTracing)入门与 Jaeger 实现 service mesh istio微服务实验之监控日志与可视化 Istio是啥?一文带你彻底了解! 【go-micro实践】jaeger分布式链路追踪 通过 Jaeger 上报 Java 应用数据 Configuring Jaeger in Spring application Jaeger T

m0_37587919的博客 499

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

分布式调用链对比(pinpoint、skywalking、jaeger、zipkin等)

(Application Performance Management)是对企业的应用系统进行实时监控,它是用于实现对应用程序性能管理和故障管理的系统化的解决方案。追踪系统Jaeger使用介绍和案例(PHP Hprose Go 跨语言调用)Apache SkyWalking 5.0中文版图文详解使用手册。ES,mysql,Cassandra,内存。ES,kafka,Cassandra,内存。java,c#,go,php等。java,c#,go,php等。OpenTracing兼容。实现方式-代码侵入性。

zhangjunli的博客 3230

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

分布式调用链调研(pinpoint,skywalking,jaeger,zipkin等对比)

1. APM简述 APM (Application Performance Management)是对企业的应用系统进行实时监控,它是用于实现对应用程序性能管理和故障管理的系统化的解决方案。 2. APM主要解决的问题 集中式度量系统 分布式全链接追踪系统 集中式日志系统(elk) 3. 分布式调用追踪(APM)一览 google的Drapper--未开源,最早的APM 阿里-鹰眼--未开源 大众点评——CAT--跨服务的跟踪功能与点评内部的RPC框架集成,这部分未开源且项目在20...

yamaxifeng_132的专栏 2363

华为吴晟:分布式监控系统的设计与实现

微服务架构其实就是将单一的应用程序划分成为一组小的服务,其中每个服务都是独立的业务单元,同时又能够被独立开发、运行、测试以及部署。简单来说,它的本质其实就是拆分和独立,这也决定了微服务的部署应该是分布式的。微服务架构虽然解决了目前诸多的架构层面的问题,但在分布式部署的环境中,如何才能够有效监控每一个服务,并及时发现系统中的问题又成为了新的挑战。\\Google公司早已就在其生产系统中实践了分布式理...

weixin_33722405的博客 65
上一篇: PB级大规模Elasticsearch集群运维与调优实践
下一篇: 图计算黑科技:打开中文词嵌入训练实践新模式
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值