kairosDB持续更新中…
最近工作需要开始接触kairosDB,其github网址为:[http://kairosdb.github.io/][6],在此我会在这记录一些操作与分享经验。
经过近大半个月的学习,基本的功能已经掌握,这几天会将这篇东西完成。
下面是我的环境说明
- 使用VMware上安装的Ubuntu操作系统
- **
- 因为才刚刚开始,所以内容会有些凌乱,随着研究深入会逐渐修改
- **
- KairosDB 可以使用cassandra、H2(开发环境中)作为后端存储。默认情况下,KairosDB运行在H2数据库下,开发环境不需要cassandra。
- **
- 在开始学习kairosDB之前如果对kairosDB没有一个大概认知的话,可以参考:[http://liubin.org/blog/2016/02/18/tsdb-intro/ ],了解一些关于TSDB的知识。
- **
- 这里是我的实验代码,有需要的可以参考:【https://github.com/congshenV/work/tree/master/kairosDB】
kairosDB概要
KairosDB是一个快速可靠的分布式时间序列数据库,主要用Cassandra来做底层存储,也可以使用H2。KairosDB是在OpenTSDB基础上重写的。 KairosDB主页: https://code.google.com/p/kairosdb/
- 其主要的功能如下:
1、可以获取基础设施和服务的实时状态信息,展示集群的各种软硬件错误,性能变化以及性能瓶颈。
2、可以衡量系统的SLA(服务类型、服务质量等),理解复杂系统间的相互作用,展示资源消耗情况。集群的整体作业情况,可以用以辅助预算和集群资源协调。
3、可以展示集群的主要性能瓶颈,经常出现的错误,从而可以着力重点解决重要问题。
- 组成
- Collectors——数据采集
数据可以通过多种协议写入KairosDB,比如Telnet的按行写入,HTTP API,Graphite以及批处理导入。此外,还可以使用或者自己编写插件。
- Storage——存储
KairosDB 采用了 Cassandra 作为数据存储方式,Cassandra 也是一个比较流行的NoSQL数据库,很多开源软件基于此数据库。
- REST API
KairosDB提供了REST API,以完成对metric名称,tag等的查询,当然,也少不了存储和查询数据点(data points)。
- WEB UI
KairosDB也提供了基于Web API的查询接口。
- Aggregators——聚合
作为数据分析系统,分组和聚合则是必不可少的功能。 KairosDB的聚合(也就是down samples)功能,支持的标准函数有min、max、sum、count、mean、histogram、gaps等,而且都非常实用。
- Tools——工具
KairosDB提供了进行数据导入导出的命令行工具。在kairosDB服务器上可进行命令行的导入导出操作,数据存储的内部指标可以监视服务器的性能
- Client library
KairosDB客户端是一个Java库,使用HttpClient类,可以简单地进行发送指标和查询KairosDB服务器。
- Plugins——插件
KairosDB也提供多种基于Guice的插件机制来进行扩展(数据点侦听器,数据存储器,协议处理程序等)。
- Collectors——数据采集
- 其他说明
KairosDB是从OpenTSDB fork过来的,因此最初它是支持HBase的,不过现在HBase已经不能完全支持KairosDB所需的特性,将来会取消对HBase的支持,不过如果只是做简单地实验,可以继续实验HBase。
安装
kairosDB运行需要安装java运行环境。java的安装可以比较简单,可以参考:
[http://blog.youkuaiyun.com/rchm8519/article/details/48721913 ]