luckydoit的博客

我们可以使用两种结构化语句： 结构化查询（Query DSL）和结构化过滤（Filter DSL）。 查询与过滤语句非常相似，但是它们由于使用目的不同而稍有差异。一条过滤语句会询问每个文档的字段值是否包含着特定值，一条查询语句会计算每个文档与查询语句的相关性，会给出一个相关性评分 _score，并且 按照相关性对匹配到的文档进行排序。1 TERM 过滤精确匹配数字、日期、布尔值或 not_a...

Zookeeper工作原理Zookeeper 的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和 leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server...

druid早期的查询方式主要是写一个json格式的查询条件，通过http请求进行查询，现在已经有了sql直接查询的方式，下面主要介绍下如何通过superset进行查询：按如下点击：点击右上角+号后：注意下面的Cluster字段一定要填就可以了。再点一下刷新元数据，就可以看到druid中的数据表了：然后可以看到druid中的数据源都显示出来了，点击进去就可...

上一篇我们讲到了druid可以监听kafka的topic实时导入数据，下面我们讲一下如何通过flume实时讲本地的日志文件导入kafka中。flume是一个日志采集系统，可以通过不同方式收集数据，并做一些预处理，然后传输到下游的数据管道中，比如hdfs或者kafka中。因为druid中的字段最好是简单类型，方便进行分析，而我们现在上报的日志都是通过一个ext_data的json字段将关键字段存...

druid 是一个基于列存储的适合实时数据分析的分布式系统，所有节点可以分成3个部分：master、query、data，分别运行相应的服务，如下图所示：Historical： 历史节点的职责主要是对历史的数据进行存储和查询。它们通过Zookeeper来声明自己存储的节点，同时也通过zookeeper来监听加载或删除Segment的信号。Segment是按时间段划分的一个个数据块。Co...