- 博客(15)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Java honest-profiler 生成 FlameGraph 火焰图
Java honest-profiler 生成 FlameGraph 火焰图用火焰图可以分析占用 cpu 资源时间，火焰图介绍。结合 honest-profiler 可以分析出 JVM 各函数占用资源的情况。主要步骤 1. 使用 honest-profiler 工具生成 hpl 文件； 2. 解析 hpl 文件生成 txt 文件； 3. 使用 hprof2flamegraph 将 t
2018-01-18 16:30:57
2027
原创 Spark 读/写 lzo 文件 pairRDD
Spark 读/写 lzo 文件 pairRDD具体代码 Java SparkConf conf = new SparkConf().setMaster("local").setAppName("CheckLog"); JavaSparkContext sc = new JavaSparkContext(conf); org.apache.hadoop.conf.
2018-01-10 21:31:38
3488
原创 Alibaba Canal Manager Model 配置管理实现
Alibaba Canal Manager Model 配置管理实现Alibaba Canal 用于增量订阅消费 mysql 数据库 binlog 日志，详细介绍请见 alibaba/canal。 其中 Server 端配置有两种管理方式: Spring 和 Manager。其中 Spring 方式是基于spring xml + properties 进行定义构建 spring 配置, Manag
2017-11-22 21:49:07
1330
原创 Storm Trident DRPC C/S 集群模式
Storm Trident DRPC C/S 集群模式简介 基于 Storm Trident 框架，一个简单的 DRPC 服务端与客户端实现。具体可以参考 storm-starter， 基本概念： Storm 是一个分布式实时处理框架; DRPC 是为了实现并发的 RPC 架构而实现的，其中D就是 Distributed，利用 Storm 分布式、并发的能力，实现 RPC 的高性能;
2017-10-09 19:59:34
1166
原创 Vim + Markdown 结合使用
Vim + Markdown 安装使用Vim 编辑文档，通过浏览器实时查看 markdown 文件。使用示例 安装 vim官方下载安装，需要安装支持 python2 或 python3 的 vim，官方下载。安装 vim 插件管理器 vundle下载 Vundle 链接 或者 git clone https://github.com/VundleVim/Vundle.vim.git ~/.v
2017-09-14 21:20:53
3221
3
原创 ELK 接入日志数据配置参考
一、简介 现有 ELK 平台由 Filebeat, Logstash, ElasticSearch, Kibana 构成，主要提供应用日志数据的采集、转发、存储、查询、告警等功能。该文适合已经搭建好 ELK 平台的读者，搭建 ELK 或具体启动配置请查看其它文档。接入日志数据大致需要配置其中三个组件 Filebeat, Logstash, Kibana，如果只是简单采集及查看日志
2017-06-13 16:21:33
6216
原创 ES 集群清除索引 shell 脚本
es 集群清除索引脚本，每个索引格式 "*-YYYY-mm-dd"，输入截止Unix时间戳。首先通过 indies 接口获取所有索引，然后遍历判断时间是否小于输入的 Unix 时间戳，是则执行删除索引。#!/bin/baship='192.168.1.1'port=9200endUnixTime=$1indices=`curl -XGET "http://${ip
2017-02-28 17:45:20
2625
原创 Storm UI 提供的 REST API 获取集群数据
Storm UI 提供的 REST API 获取集群数据，基本上 Storm UI 上的所有数据都可以获取到。应该是 storm 0.9.7 版本后才开始支持，试过 storm 0.9.0.1 版本并没有支持该系列接口。请求前缀：:/api/v1/...">http://:/api/v1/...GET Operations/api
2017-02-17 19:39:12
4279
转载 Zabbix中文使用手册
一、Zabbix简介 详情参考“企业监控利器－zabbix”http://waringid.blog.51cto.com/65148/904201。二、Zabbix使用2.1 Zabbix框架介绍 在浏览器中输入http://192.168.0.189进入监控软件登陆界面（图二），登陆用户名和密码为network，登陆后的界面如图三所示。图二：登
2017-01-22 14:16:03
2611
转载 ELK 在 Spark 集群的应用
概述大数据处理技术越来越火,云计算平台也如火如荼,二者犹如 IT 列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病的人的话，那么日志分析系统就是给病人诊断的医生。由于集群甚大，几百台机器都是起步价，甚至可能会有上千台、上万台机器同时协作运行。如此大的集群，不可能一点问题都不出,就像一个人不可能不得病一样。如果出现问题，如何快速的找到问题的根源并对症下药，则显得
2017-01-17 09:53:32
1011
原创 Elastic Stack X-Pack 插件 更新 Updating Your License
更新license，Updating Your License 官方文档https://www.elastic.co/guide/en/x-pack/current/installing-license.html注册用户获取基础license，有效期1年https://register.elastic.co/xpack_register
2016-12-02 16:36:42
6911
原创 filebeat - logstash 多行合并 解决数据丢失以及无法读取最后一行
filebeat - logstash 多行合并 解决数据丢失以及无法读取最后一行，使用logstash-filter-multiline 最后一行日志会等待1s时间，如果日志没有新的数据，则发送最后一行日志数据
2016-11-15 22:04:57
12117
2
原创 UIButton中UIImage的使用
UIButton中UIImage的使用 UIButton *closeBtn = [UIButton buttonWithType:UIButtonTypeCustom]; closeBtn.backgroundColor = [UIColor clearColor]; closeBtn.exclusiveTouch = YES; UIImage *img = [
2016-05-18 20:44:59
645
原创 VMware for mac 虚拟机打不开
错误描述：运行虚拟机提示『内部错误』、『找不到可以连接的有效对等进程』解决方法：关闭VMware，打开终端，查看VMware相关进程，ps -ef |grep vmware如上图，pid为501，关闭501进程，执行 kill -9 501重启VMware
2016-05-01 18:45:50
9782
原创 HBase Java Client
一、根据rowkey模糊查询 public static List>> queryByFuzzyRowkey(String host, String tableName, String fuzzyRowkey) throws IOException { HBaseConfig hBaseConfig = new HBaseConfig(host); HConnection
2016-02-23 11:20:48
693
honest-profiler.zip
2018-01-17
logstash-filter-multiline-3.0.2.gem
2016-11-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人