
大数据
xiongjiezk
这个作者很懒,什么都没留下…
展开
-
hadoop dfs -ls 不起作用的问题
在hdfs上创建文件,查看文件时,发现使用如下明明并不生效hadoop fs -mkdir /data创建文件失败 查看文件`hadoop fs -ls /`data则提示ls: Cannot access /data: No such file or directory.查看文件hadoop fs -ls /显示的是系统的根目录。 查了一下,说是新版的hadoop使用hadoop dfs -l原创 2016-12-27 19:18:53 · 8701 阅读 · 0 评论 -
kibana绘制热力图
kibana绘制热力图整个过程主要可以分为3个步骤 1. 收集日志 2. 配置logstash日志解析,填充经纬度数据 3. kibana上绘制热力图。这里重点记录配置logstash时,如何填充经纬度数据。 我们日志中有经纬度数据,但是通过filter解析之后,字段一般被默认为字符串类型,而再画热力图时,kibana上聚合字段要求是geo_point类型,那么接下来的任务就是将经纬度数据转原创 2017-01-07 17:39:08 · 6021 阅读 · 0 评论 -
elasticsearch 源码阅读
下载源码 地址:编译 es5.0 之后不再使用maven进行项目构建,开始使用gradle。在使用gradle编译的过程中,也遇到一系列的问题。汇总如下 我下载了gradle的最新版本,3.4,配置了环境变量后,使用idea编译时,抛出该版本es只能使用gradle2.13的版本,。于是重新配置gradle的版本,进入到core目录下,执行 gradle build 。core目录结构原创 2017-03-07 12:07:53 · 1098 阅读 · 0 评论