ElasticStack
关注
分享
扫一扫
codenow.fun
不惑于自己，不惑于未来；找到自己的兴趣爱好，并不断坚持下去。
展开
-
HBase海量业务数据二级查询实现毫秒级响应，HBase原理与数据模型设计详解
为什么需要使用HBase做海量业务数据的存储1、扩展性强、容量大，支持百亿行、百万列数据的存储。HBase底层基于HDFS，可动态增加节点2、高可靠性，WAL机制保证数据的安全性，Replication机制保证集群的数据容灾能力3、高性能，由于底层的LSM数据结构和RowKey有序排序，HBase具备较好的随机读取性能，RowKey的查询可达毫秒级响应4、稀疏性、面向列存储，空列不...原创 2020-04-27 23:29:03 · 1004 阅读 · 0 评论 -
ElasticSearch 7.4的DSL查询——简单检索、复合检索与高级检索
空搜索 ，返回集群索引中的所有文档http://192.168.1.135:9200/_search/ 查询结果中的hits部分，total表示检索出的记录总数，还包含着查询的前十条记录增删改查，复合查询### 一、条件查询http://192.168.1.135:9200/score-statistics-2019.10/_search/查询mac为11010030333...原创 2019-12-30 23:23:30 · 1122 阅读 · 0 评论 -
logstash消费kafka消息并发送es
bin/logstash -f config/logstash.conf自动更新配置启动：./bin/lagstash -f configfile.conf --config.reload.automatic后台启动并自动更新配置利用nohup扔到后台运行。nohup /usr/local/ELk/logstash-5.1.1/bin/logstash -f /usr/lo...原创 2019-12-25 23:55:19 · 2654 阅读 · 0 评论 -
Logstash7.4实现Kafka消息、Beats、MySQL的数据收集、解析、转换和ElasticSearch存储的应用场景
ElasticSearch是个是一个分布式、可扩展、实时的搜索与数据分析引擎，如何将海量数据源高效可靠的写入到ElasticSearch是个无法避免的Logstash概念与原理Logstash 是开源的服务器端数据处理管道，能够同时从多个来源动态地采集、转换和传输数据到ElasticSearch的索引中，进而对数据进行分词、检索与分析，不受格式或复杂度的影响，它提供了丰富的过滤器库，如能利...原创 2019-11-13 23:45:20 · 1581 阅读 · 0 评论 -
ElasticSearch7.4的数据类型，Mapping Type, 指定索引Document的Mapping Type
ElasticSearch7.4的数据类型，Mapping Type, 指定索引Document的Mapping Type基础数据类型：（ELasticsearch 5.X之后的字段类型不再支持string，由text或keyword取代） 一、字符串 1.1 文本类型 text 当一个字段需要用于全文搜索(会被分词), 比如产品名称、产品描述信...原创 2019-11-02 17:32:03 · 4132 阅读 · 0 评论 -
ElasticSearch 7.4中不同的beats实现各种不同数据采集Filebeat、Functionbeat、Heartbeat、Metricbeat、Packetbeat Winlogbeat
ElasticSearch 7.4的Beats，不同的beats用于收集各种不同的数据发送到elasticsearch或者logstash，这使得平台的数据可视化，无疑为平台的运营、运维还有决策规划提供了最可靠的支持。##### 轻量型审计日志采集器 Auditbeat Audit dataAuditbeat is a lightweight shipper that you c...原创 2019-10-27 23:14:33 · 1424 阅读 · 0 评论 -
ElasticSearch7.4启动出错，java.nio.file.AccessDeniedException: …/elasticsearch-7.4.0/config/jvm.options
最近在维护ElasticSearch集群的过程中，有时因为在配置和启动时的时候疏忽用户权限问题，而造成一些小问题，但还是不留意还是会产生，具体报错如下Exception in thread "main" java.nio.file.AccessDeniedException: /usr/local/software/packages/elasticsearch-7.4.0/config/jvm...原创 2019-10-22 23:50:46 · 9431 阅读 · 0 评论 -
ElasticSearch7.4启动报错ElasticsearchUncaughtExceptionHandler] … can not run elasticsearch as root
报错[root@localhost elasticsearch-7.4.0]# ./bin/elasticsearchOpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release....原创 2019-10-20 16:25:23 · 3447 阅读 · 0 评论 -
ElasticSearch报错，.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run e
在为ElasticSearch升级新版本的时候，报了些错[root@localhost elasticsearch-7.4.0]# ./bin/elasticsearchOpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be rem...原创 2019-10-18 14:28:40 · 2693 阅读 · 0 评论 -
ElasticSearch原理剖析，倒排索引实现快速检索
为何要用ElasticSearch 在最近的项目开发中，逐步接触到海量数据的搜索和可视化处理，Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。 它建立在一个全文搜索引擎库Apache Lucene基础之上，但隐藏了 Lucene中复杂的细节，使用ElasticSearch可以更高效的实现数据的搜索、分析和探索。Elasticsearch 不仅仅可以实现全...原创 2019-09-08 19:02:52 · 522 阅读 · 0 评论 -
ELKB+Kafka——ElasticSearch 7.4配置集群部署实现海量数据存储、搜索分析
ElasticSearch 7.4集群部署实现海量数据存储、搜索分析官网下载ElasticSearch后解压修改 每个进程最大同时打开文件数* soft nofile 65536* hard nofile 65536修改虚拟机程序可打开文件数vm.max_map_count=655360 设置其他主机可访问，并在...原创 2019-10-19 19:16:00 · 497 阅读 · 0 评论 -
ElasticSearch7.x基本概念、版本特性
ElasticSearch7.x基础梳理、版本特性1、基本概念集群(cluster)：有一个主节点，通过选举产生，从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。索引(index)：数据可以存储在不同索引中，索引可以看做是传统中的数据库，可以在索引中写入文档和搜索文档文档(document)，文档由字段组成，是ES索引中数据存储的基本单位...原创 2019-10-19 18:53:58 · 4293 阅读 · 0 评论