
大数据
roshy
心不动,风不动,树不动。
展开
-
【大数据】Storm与Spark区别
Storm擅长于动态处理大量实时生产的小数据块,概念上是将小数据量的数据源源不断传给过程;Spark擅长对现有的数据全集做处理,概念是将过程传给大数据量的数据。二者设计思路相反。Storm侧重于处理的实时性,Spark侧重处理庞大数据(类似于Hadoop的MR)。Spark流模块(Spark Streaming)与Storm类似,但有区别:1.Storm纯实时,来一条数据,处...转载 2019-12-12 08:37:28 · 905 阅读 · 0 评论 -
【大数据】es Elasticsearch 时间分组聚合查询
正常业务逻辑中,会出现大量的数据统计,比如说分组聚合查询,根据天进行数据的统计,记录下es分组聚合查询{ "size": 0, "aggs": { "groupDate": { "date_histogram": { "field": "create_date", "interval": "day", "format"...转载 2019-09-20 15:30:25 · 13613 阅读 · 1 评论 -
【大数据】es启动报错: Native controller process has stopped - no new native processes can be started
主要出现下面三个错误ERROR: [3] bootstrap checks failed[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536][2]: max number of threads [3780] for user [esyonghu]...转载 2019-09-20 10:52:13 · 21122 阅读 · 0 评论 -
【大数据】kibana错误:[plugin:xpack_main@6.5.1] Status changed from yellow to red - Request Timeout after 3
说明连接ES失败。1、确定配置信息2、防火墙配置问题,可以关闭防火墙试试。原创 2019-08-30 10:24:19 · 7564 阅读 · 2 评论 -
【大数据】es ElasticSearch常用操作:查询与聚合篇
0 说明基于es 5.4和es 5.6,列举的是个人工作中经常用到的查询(只是工作中使用的是Java API),如果需要看完整的,可以参考官方相关文档https://www.elastic.co/guide/en/elasticsearch/reference/5.4/search.html。1 查询先使用一个快速入门来引入,然后后面列出的各种查询都是用得比较多的(在我的工作环境是这样...转载 2019-08-27 17:10:52 · 5828 阅读 · 0 评论 -
【大数据】kibana学习笔记
1、先下载测试文件,然后新建索引(数据库)数据库1 莎士比亚作品全集curl -H "Content-Type: application/json" -XPUT http://localhost:9200/shakespeare -d'{"mappings": { "doc": { "properties": { "speaker": {"type": "keyword...原创 2019-05-08 17:04:56 · 547 阅读 · 0 评论