
架构
文章平均质量分 82
scdxmoe
这个作者很懒,什么都没留下…
展开
-
使用开源软件sentry来收集日志
http://luxuryzh.iteye.com/blog/1980364 对于一个已经上线的系统,存在未知的bug或者运行时发生异常是很常见的事情,随之而来的几点需求产生了: 1、系统发生异常时是否能够通过日志查看到具体原因 2、怎样第一时间扑捉到异常 3、系统都出现了哪些异常 4、哪些异常出现频率高 第一点好解决,利用log4j、logback转载 2016-12-09 15:20:05 · 3754 阅读 · 0 评论 -
最佳日志实践(v2.0)
http://studygolang.com/articles/103210. 缘起大约在三年前,我曾经写过一篇 最佳日志实践,还被码农周刊选为那年的 最受欢迎技术干货 之一。当时我任职于网易杭州研究院的存储平台组,主要做网易对象存储(NOS)的开发和部分运维工作。由于网易云音乐,易信等几个重要产品陆续上线,业务压力剧增,我们的系统在前前后后大约半年的时间里,出现了大大小小转载 2017-07-11 11:52:27 · 704 阅读 · 0 评论 -
Consul 使用
http://www.jianshu.com/p/b4aaf267f7ba官网Document https://www.consul.io/docs/index.html一、介绍Consul有很多组件,但总的来说,它主要用来发现和配置服务。(1)服务发现:Consul的客户端可以“provide”一个service,例如api或mysql,其他客户端可以使用Consul转载 2017-06-29 09:46:13 · 12408 阅读 · 1 评论 -
consul http api
http://ju.outofmemory.cn/entry/261657https://www.consul.io/docs/agent/http.htmlhttp://www.codeweblog.com/服务发现系统consul-http-api/consul的主要接口是RESTful HTTP API,该API可以用来增删查改nodes、services、c转载 2017-06-28 17:59:02 · 856 阅读 · 0 评论 -
58集团监控业务实践:将网站运行信息透明化
http://www.yunweipai.com/archives/13642.html2017-04-16 10:09 阅读 721 评论 0社区广播:运维派(Yunweipai.com)是国内最早成立的IT运维社区,欢迎大家投稿,让运维人不再孤寂的成长!作者介绍龚诚,58集团技术工程平台部高级经理,硕士毕业于哈尔滨工业转载 2017-05-27 15:06:25 · 1446 阅读 · 0 评论 -
腾讯专家分享:腾讯做业务监控的心得和经验
http://www.qcloud.com/blog/?p=497腾讯专家分享:腾讯做业务监控的心得和经验腾讯云2016年1月7日专家分享 监控分享主题: 腾讯业务立体化监控体系 1.介绍腾讯业务监控体系的层级构成;2.用代表性的监控系统阐述每个监控层次的实现方法;3.与监控体系配合,业务做了哪些容灾和调度的方转载 2017-05-27 15:00:34 · 4267 阅读 · 0 评论 -
慧眼云:基于云计算和大数据分析的主动防御实践
http://www.youkuaiyun.com/article/1970-01-01/2825623不论IT如何变迁,网络安全始终是不过时的话题。但不同环境的网络安全有不同的内涵,当前全产业转型“互联网+”,云计算、大数据和移动互联网技术的普及应用,极大地改变了IT架构,网络边界越来越模糊,同时趋利性的未知安全威胁也越来越多,这为安全管理带来了新的挑战,同样也未安全技术的升级提供了契机。转载 2017-02-19 09:31:26 · 934 阅读 · 0 评论 -
【图文直播全文记录】酷狗音乐的大数据实践(纯干货)
http://mp.weixin.qq.com/s/alpEZ7-dMrgn3fwJxwmPwg此文是根据酷狗音乐大数据架构师王劲在【QCON高可用架构群】中的分享内容整理而成,转发请注明出处。王劲:目前就职酷狗音乐,大数据架构师,负责酷狗大数据技术规划、建设、应用。 11年的IT从业经验,2年分布式应用开发,3年大数据技术实践经验,主要研究方向流式计算、大数据存储计算转载 2017-02-08 09:47:27 · 4344 阅读 · 0 评论 -
scribe、chukwa、kafka、flume日志系统对比
http://www.ttlsa.com/log-system/scribe-chukwa-kafka-flume-log-system-contrast/1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2)转载 2017-02-07 10:27:48 · 879 阅读 · 0 评论 -
kafka 安装部署
一、 安装zookeeper:http://blog.youkuaiyun.com/scdxmoe/article/details/53906025Zookeeper安装1. 安装wget http://www.apache.org/dist//zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz2 tar zxvf zo原创 2016-12-28 10:33:42 · 494 阅读 · 0 评论 -
zookeeper 安装 使用
Zookeeper安装1. 安装wget http://www.apache.org/dist//zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz2 tar zxvf zookeeper-3.3.6.tar.gz3 cd zookeeper-3.3.64 cp conf/zoo_sample.cfg conf/zoo.cfg原创 2016-12-28 10:08:03 · 378 阅读 · 0 评论 -
【Zookeeper系列一】Zookeeper应用介绍与安装部署
https://my.oschina.net/xianggao/blog/531204Zookeeper系列【Zookeeper系列一】Zookeeper应用介绍与安装部署【Zookeeper系列二】ZooKeeper典型应用场景实践【Zookeeper系列三】ZooKeeper Java API使用【Zookeeper系列四】ZooKeeper 分布式锁实现【转载 2016-12-28 10:07:23 · 726 阅读 · 0 评论 -
Kafka 高性能吞吐揭秘
https://segmentfault.com/a/1190000003985468A high-throughput distributed messaging system.--Apache KafkaKafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分转载 2016-12-27 16:40:46 · 651 阅读 · 0 评论 -
Kafka文件存储机制那些事
http://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apa转载 2016-12-27 16:26:58 · 374 阅读 · 0 评论 -
基于Flume的美团日志收集系统(一)架构和设计
基于Flume的美团日志收集系统(一)架构和设计http://tech.meituan.com/mt-log-system-arch.html美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美转载 2016-12-27 11:16:43 · 837 阅读 · 0 评论 -
logstash日志分析的配置和使用
http://yincheng.site/logstashlogstash日志分析的配置和使用2016年9月16日logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。首先将数据传给logstash,它将数据进行转载 2017-07-12 09:42:03 · 600 阅读 · 0 评论