
大数据
网络与安全技术探索
从事网络安全业务的大头兵
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop Yarn 框架原理及运作机制
转自https://blog.youkuaiyun.com/liuwenbo0920/article/details/433042431.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中...转载 2019-11-07 16:41:16 · 225 阅读 · 0 评论 -
Logstash概念与原理、与Flume的对比
Logstash概念Logstash是一款开源的数据收集引擎,具备实时管道处理能力。简单来说,logstash作为数据源与数据存储分析工具之间的桥梁,结合ElasticSearch以及Kibana,能够极大方便数据的处理与分析。通过200多个插件,logstash可以接受几乎各种各样的数据。包括日志、网络请求、关系型数据库、传感器或物联网等等。Logstash工作过程如上图,Logst...原创 2019-07-01 20:59:44 · 24194 阅读 · 1 评论 -
使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【公安大数据】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20705公安行业存在数以万计的前后端设备,前端设备包括相机、检测器及感应器,后端设备包括各级中心机房中的服务器、应用服务器、网络设备及机房动力系统,数量巨大、种类繁多的设备给公安内部运维管理带来了巨大挑战。传统通过ICMP/SNMP、Trap/Syslog等工具对设备进行诊断分析...转载 2019-06-23 16:24:00 · 1392 阅读 · 0 评论