学习ElasticSearch、Solr、Lucene、ELK+kafka的笔记

最新推荐文章于 2022-06-19 11:42:09 发布
最新推荐文章于 2022-06-19 11:42:09 发布
阅读量461 收藏
点赞数 1
分类专栏： 搜索引擎（VIP专栏） 文章标签： ES solr lucene elk 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34820803/article/details/103298122
版权
这篇博客主要涵盖了ElasticSearch、Solr和Lucene的基础知识，对比了ES与Solr的区别，并详细介绍了如何在Java代码中正确接入ElasticSearch。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、  基础知识

二、ES与solr的区别：

三、Java代码如何正确接入ES？

一、  基础知识

  1.   ES如何存数据？
        ES通过index写入和查询到内存中，数据基本存储在硬盘中，部分数据会存在内存中。 推荐资料地址：  Day 7 - Elasticsearch中数据是如何存储的 - Elastic 中文社区
    
      2.    lucene相关知识：
           Lucene中有 正排索引、倒排索引、全文索引、还能做聚合、排序操作。 
         
           lucene中各文件的用处：   
了解本专栏 订阅专栏 解锁全文 超级会员免费看
基于Heka+Flume+Kafka+ELK的日志系统
一边敲代码，一边思考人生...
09-14 6990
前期准备 ELK官网：https://www.elastic.co/，  软件包下载和完善的文档资料。 Zookeeper官网：https://zookeeper.apache.org/ Kafka官网：http://kafka.apache.org/documentation.html，软件包下载和完善的文档资料。 Flume官网：https://flume.apache.org/ H
Elasticsearch学习笔记1：Elasticsearch是什么？就是做搜索的！
Vincent9847的博客
06-26 323
一、Elasticsearch是什么？ Elasticsearch：弹性搜索 Elaticsearch ,简称为es , es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好可以扩展到上百台服务器,处理PB级别(大数据时代)的数据。es也使用ava开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。 据国际权威的数据库产品评测机...
kafka-solr-sink-connector:这是基于JSON的简单Solr Sink Kafka连接器，使用Solr Cloud
05-26
kafka-solr-sink连接器 这是基于Java的简单Solr Sink Kafka连接器，它从kafka主题获取纯json数据并推送到solr，同时支持solr cloud和独立模式。 注意：仅支持JSON数据，对于值转换器，请保留schemas.enable=false 。 配置说明： 配置名称 描述 配置值 是强制性的？ 话题 要听的话题 主题名称 是的 solr.collection 需要将主题数据推送到的Solr集合名称 馆藏名称 是的 solr.mode 运行solr的模式，传递solr节点URL 云或独立 是的 solr.url 如果solr.mode为CLOUD ，则传递逗号分隔的solr.mode网址，否则传递独立的solr服务器网址 网址 是的 connector.class 连接器类别名称 com.bkatwal.kafkaproject.Sol
kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）
weixin_33778544的博客
09-29 478
问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？   一、入门     1、简介     Kafka is a distributed,partitioned,replica...
【ELK技术栈】ElasticSearch、Solr 和 Lucene 的区别，什么是 ELK 技术栈
Zhou_LC的博客
09-19 336
前言：学习自 视频教程：https://www.bilibili.com/video/BV17a4y1x7zq?p=5 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.14/zip-windows.html 文章目录1 ElasticSearch 概述2 ES、Solr 和 Lucene 的区别2.1 ES 和 Solr 速度比较2.2 ES 和 Solr 总结3 ElasticSearch 安装4 ElasticSearch.
kafka与solr一同搭建集群时遇到的问题
yulungggg的博客
01-16 850
在虚拟机中搭建过Kafka集群，没有什么问题，这次在公司电脑里搭建Kafka时出现问题， 因为同时存在solr集群，这里采用两个zookeeper搭建，因为存在两个zk，所以有点问题，报了一些错误， 最终更换Kafka版本，还是有错误，最后解决了，问题出在，Kafka中的配置文件，consumer.properties里面的ip也需要更换， 保持跟service.properties的相同，
solr 与 elasticsearch 技术选型
xiaojuge的博客
06-10 577
solr vs elasticsearch
elasticsearch基本入门学习笔记
chwensrong的博客
02-13 4311
Elasticsearch学习笔记一、ElasticSearch概述历史谁在使用ES和Solr二、ElasticSearch安装1、安装2、熟悉目录3、启动三、elasticsearch-head（可视化界面）四、kibana（测试工具）五、ElasticSearch核心概念 一、ElasticSearch概述 官网: https://www.elastic.co/cn/downloads/elasticsearch. Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可
基于《狂神说Java》ElasticSearch--学习笔记
wudidahuanggua的博客
06-19 766
本笔记仅做学习与复习使用，不存在刻意抄袭。给各位学友强烈推荐《遇见狂神说》他的整套Java学习路线使我获益匪浅
Lucene&ElasticSeach&Kafka
heywei_的博客
11-21 9766
Lucene&ElasticSeach&Kafka Lucene&ElasticSeach 1 什么是全文检索 1.1 数据分类 生活中的数据总体分为两种：结构化数据和非结构化数据。 ​ 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等 ​ 非结构化数据：指不定长或无固定格式的数据，如邮件，word 文档等磁盘上的文件 1.2 结构化数据搜索 常见的结构化数据也就是数据库中的数据 ​ 在数据库中搜索很容易实现，通常都是使用 sql语句进行查询，而且能很快的得到查询
互联网公司常用四大中间件 | 搜索中间件&缓存中间件
weixin_42886699的博客
12-02 1万+
互联网公司常用四大类中间件之搜索中间件与缓存中间件 1. 搜索中间件：Solr，ELK（ElasticSearch，Logstash，Kibana）达成近实时搜索。 底层均基于Lucence。如果能考到ELK认证（当前很少人获得），高薪无悬念。 大型互联网公司项目请求响应处理： 远端通过访问Web->检索->缓存->HBase->MapReduce->HDFS 2. 缓存中间件： Redis缓存常用方法大家都比较清楚： Ehcached：轻量级Java缓存框架
全文搜索技术 Lucene & solr & es （一）Lucene
qq_41965731的博客
05-23 1267
学习视频地址：https://www.bilibili.com/video/av45567492?from=search&seid=14848044148453483902 本篇博客是基于此学习视频以及课程笔记进行学习 了解什么是全文检索技术？ 想明白字典的出现是为了什么？ 全文检索技术可以用来做什么？ 搜索引擎：百度、谷歌、搜狗等 站内搜索：小说网站、电商网站、...
Solr vs ElasticSearch，搜索技术哪家强
朱小厮的博客
02-12 1639
点击上方“朱小厮的博客”，选择“设为星标”后台回复”加群“获取公众号专属群聊入口Solr和ElasticSearch到底有一些什么不同？我在网上搜索了一些文章，这些文章要么是列出一个表，...
Lucene全文检索框架+Solr+ElasticSearch搜索引擎(Java高级必备.ES)
09-30
课程提供所有代码笔记素材以及答疑 1、Lucene框架的熟练应用实现类似百度、京东商城等应用的全文检索效果; 1、Solr简介 2、Solr下载安装以及目录结构介绍 3、Solr应用部署至Tomcat服务器 4、Solr后台管理界面介绍 5、通过managed-schema配置Field以及中文分词器 6、将数据库中的数据导入至Solr索引库 7、通过Solr后台管理界面对索引进行CRUD高亮过滤排序分页 8、通过Solrj实现索引的添加更新 9、通过Solrj实现索引的删除 10、索引的检索_过滤_高亮等操作 11、项目实战应用 12、Solr知识点总结 1、熟练掌握Lucene框架的使用，实现类似百度、京东商城等应用的全文检索效果; 2、ElasticSearch下载安装(window以及linux下安装) 3、集群环境搭建 4、客户端Kibana安装与使用 5、集群管理插件head安装使用 6、java api 操作 ES 7、电商项目实战应用等等 .....
Kafka深度解析，众人推荐，精彩好文！
黄刚的技术博客
03-05 1853
背景介绍 Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同
kafka等，今天面试了
热门推荐
温柔而已
12-15 2万+
今天，参加了一个面试，被问到了为什么要使用kafka，有那种场景下需要使用jms，我突然疑惑了，实习了四个月，断断续续的接触了kafka，elasticsearch等等，居然没有想过为甚么要用这些眼花缭乱的消息系统，各种数据库。 现在，消息中间件种类繁多，而且各种大厂的也逐渐开源了，每个企业都开始二次加工自己的消息中间件以满足自己的内部需求。其实，无论什么系统，框架，最值钱的就是为了保存和应用数
json数据处理实战:Kafka+Flume+Morphline+Solr+Hue数据组合索引
五哥的酒馆
12-11 267

 背景：Kafka消息总线的建成，使各个系统的数据得以在kafka节点中汇聚，接下来面临的任务是最大化数据的价值，让数据“慧”说话。
 环境准备：
 Kafka服务器*3。
 CDH 5.8.3服务器*3，安装Flume,Solr,Hue,HDFS,Zookeeper服务。
 Flume提供了可扩展的实时数据传输通道，Morphlin...
ElasticSearch 与 Solr 对比
认知 行动 坚持
11-03 972
版本：ElasticSearch 7.6.1 6.x 7.x 的区别十分大，6.x API (原生API、RestFul 高级！) Lucene 是一套信息检索工具包！jar包！，不包含搜索引擎系统！包含：索引结构、读写索引的工具、排序、搜索规则...工具类。 Lucene 和 ElasticSearch 关系 ElasticSearch 是基于Lucene 做了一些封装和增强（我们上手是十分简单！） ElasticSearch概述 ElasticSearch，简称为es，es是一个开源的高扩展
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杰克说

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值