使用Elasticsearch 7.9.1实现对word，pdf，txt文件的全文内容检索

转载 已于 2022-05-19 18:51:50 修改 · 754 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/strongchenyu/p/13777596.html
文章标签：

#elasticsearch #搜索引擎 #lucene

于 2022-05-19 18:16:50 首次发布
这篇博客介绍了如何利用Elasticsearch7.9.1对word、pdf和txt文件的全文内容进行搜索。通过POST请求将文件内容写入索引，并设置pipeline为attachment。然后，使用GET请求进行搜索，匹配'技能中心'这一关键词，同时进行了高亮显示。此示例展示了Elasticsearch在全文检索中的应用。

使用Elasticsearch 7.9.1实现对word，pdf，txt文件的全文内容检索

POST /docwrite/_doc?pipeline=attachment
{
  "name":"测试PDF2",
  "type":"pdf",
  "content":""
}

GET /docwrite/_search
{
  "_source": ["name","type"],
  "query": {
    "match": {
      "attachment.content": {
        "query": "技能中心",
        "analyzer": "ik_smart"
      }
    }
  },
  "highlight": {
    "fields": {
      "attachment.content": {
        "pre_tags": "<em>",
        "post_tags": "</em>"
      }
    }
  }
}

localhostAND
关注
Elasticsearch 实现 Word、PDF，TXT 文件的全文内容提取与检索
北执南念的博客
07-06 8642
Elasticsearch 实现 Word、PDF，TXT 文件的全文内容提取与检索
如何用 Elasticsearch 实现 Word、PDF，TXT 文件的全文内容检索？
Q54665642ljf的博客
11-05 3485
Elasticsearch 是一个开源的搜索文献的引擎，大概含义就是你通过 Rest 请求告诉它关键字，他给你返回对应的内容，就这么简单。Elasticsearch 封装了 Lucene，Lucene 是 apache 软件基金会一个开放源代码的全文检索引擎工具包。Lucene 的调用比较复杂，所以 Elasticsearch 就再次封装了一层，并且提供了分布式存储等一些比较高级的功能。
【325期】Elasticsearch 如何实现 Word、PDF、TXT 全文内容检索？
Java精选
05-09 1508
简单介绍一下需求能支持文件的上传，下载要能根据关键字，搜索出文件，要求要能搜索到文件里的文字，文件类型要支持word，pdf，txt文件上传，下载比较简单，要能检索到文件里的文字，并且要尽量精确，这种情况下很多东西就需要考虑进去了。这种情况下，我决定使用Elasticsearch来实现。因为准备找工作刷牛客的原因，发现很多面试官都问到了Elasticsearch，再加上那...
Elasticsearch 实现对Word、PDF等文件进行全文检索
程序员小乐
05-14 698
????推荐大家关注一个公众号????点击上方 "编程技术圈"关注,星标或置顶一起成长后台回复“大礼包”有惊喜礼包！每日英文There are plenty of things in life that you don't want to do but you have to,this is responsibility.For the things that you want t...
精选资源
springboot+es实现对word，pdf，txt等文件的非结构化数据全文内容检索
06-11
本教程将详细介绍如何利用Spring Boot集成Elasticsearch 7.9.1及Kibana来实现对这些文件的全文内容检索。 首先，我们需要理解Elasticsearch的核心概念。Elasticsearch是一个开源的分布式搜索引擎，以它的高可扩展性...
ElasticSearch 实现 全文检索 支持（PDF、TXT、Word、HTML等文件）通过 ingest-attachment 插件实现 文档的检索_es全文检索word文件
最新发布
2401_84170337的博客
06-20 1200
执行sudo ./elasticsearch-plugin install file:///home/ingest-attachment-7.9.0.zip 即可。重启ES 打印 [apYgDEl] loaded plugin [ingest-attachment] 表示安装成功。1、先在ES的bin目录下执行命令 安装 ngest-attachment插件。下载好后上传到服务器，进入elasticsearch安装目下的bin目录下。作者已经安装过了 所以不能重复安装，插件下载过程中会出现。
使用ES检索PDF或Word等格式文件方案
大数据，大模型，服务器，技术、架构，方案
03-03 2834
使用git hook实时监控触发，或者直接简单使用定时任务从文件源下载pdf、word、md等格式的文档，使用java将文档内容转成Base64格式，仿照上面的思路方法写入ES，就可实现全文搜索了，搜索到的文档可以返回文档的在线下载地址，可以直接打开或下载，完成闭环。使用上述网站只能转换点小文件（也可能是浏览器的问题），我转了一个10页的PPT后页面无响应，无法拷贝结果。随后我转了一个更小PDF，可复制结果，发现字符数也有41万之多。首先，我们需要保证ES已经有中文分词器ik插件，这里不再赘述。
使用Elasticsearch进行word，excel，PDF的全文检索 windows实现 超完整（ingest-attachment实现）
紫极岚的博客
06-30 7790
首先要明确的一点就是Elasticsearch的版本要和ingest-attachment的版本一致，要不然没办法安装。然后还有一点JAVA版本要在11以上先说说原理吧，其实就是将文件base64编码，然后再用插件读取文件内容并保存到es中。
ElasticSearch导入PDF，WORD到ES进行全文检索，全文高亮等操作。
这个人很懒什么都没有留下
08-30 5527
使用ElasticSearch导入文本只需要使用ES的javaapi添加文本即可，解析pdf和word我使用的是Tika来解析文档数据，每当一个文本文件被传递到Tika，它将检测在其中的语言。它接受没有语言的注释文件和通过检测该语言添加在该文件的元数据信息。......
Elasticsearch Demo 读取word内容写入到Es上并展示在WebFrom页面上
10-26
Elasticsearch Demo 读取word内容写入到Es上并展示在WebFrom页面上,简单查询根据关键字检索 并高亮显示。
ElasticSearch 实现 全文检索 支持（PDF、TXT、Word、HTML等文件）通过 ingest-attachment 插件实现 文档的检索
热门推荐
解决bug的路上
11-05 1万+
Attachment 插件是 Elasticsearch 中的一种插件，允许将各种二进制文件（如PDF、Word文档等）以及它们的内容索引到 Elasticsearch 中。插件使用 Apache Tika 库来解析和提取二进制文件的内容。通过使用 Attachment 插件，可以轻松地在 Elasticsearch 中建立全文搜索功能，而无需事先转换二进制文件为文本。
如何用Elasticsearch实现Word、PDF，TXT文件的全文内容检索？
方志朋的博客
05-18 589
欢迎关注方志朋的博客，回复”666“获面试宝典来源：www.cnblogs.com/strongchenyu/p/13777596.htmlElasticsearch简介开发环境核心问题文件上传关键字查询编码导入依赖文件上传文件查询多文件测试还存在的一些问题简单介绍一下需求能支持文件的上传，下载要能根据关键字，搜索出文件，要求要能搜索到文件里的文字，文件类型要支持word...
Elasticsearch如何实现Word、PDF、TXT 全文内容检索？
weixin_42113716的博客
10-22 555
Elasticsearch如何实现Word、PDF、TXT 全文内容检索？
Elasticsearch如何实现Word、PDF、TXT 全文内容检索？
Java精选
10-20 3088
前言能支持文件的上传，下载要能根据关键字，搜索出文件，要求要能搜索到文件里的文字，文件类型要支持word，pdf，txt文件上传，下载比较简单，要能检索到文件里的文字，并且要尽量精确，这种情况下很多东西就需要考虑进去了。这种情况下，我决定使用Elasticsearch来实现。因为准备找工作刷牛客的原因，发现很多面试官都问到了Elasticsearch，再加上那时候我连Elasticsearch是什...
ElasticSearch搜索office文档
c123m的专栏
04-24 613
Elasticsearch 通常用于为字符串，数字，日期等类型的数据建立索引。但是，如果要直接为 .pdf 或 .doc 等文件建立索引并使其可搜索该怎么办？在 HCM，ERP 和电子商务等应用程序中有这种实时用例的需求。 在今天的这篇文章中我们来讲一下如何实现对 .pdf 或 .doc 文件的搜索。本解决方案使用于 Elasticsearch 5.0 以后的版本。 实现原理 我们采用如下的方法来实现把一个 .pdf 文件导入到 Elasticsearch 的数据 node 中： 如上图所示，我们首先
Elasticsearch：如何对 PDF 文件进行搜索
Elastic 中国社区官方博客
02-04 7377
Elasticsearch通常用于为字符串，数字，日期等类型的数据建立索引。但是，如果要直接为.pdf或.doc等文件建立索引并使其可搜索该怎么办？在HCM，ERP和电子商务等应用程序中有这种实时用例的需求。 在今天的这篇文章中我们来讲一下如何实现对.pdf或.doc文件的搜索。本解决方案使用于Elasticsearch 5.0以后的版本。 实现原理 我们采用如下的方法来实现把一个.p...
elasticsearch(20) 数据建模
m0_37139189的博客
11-02 242
1、文件系统数据构造 PUT /fs {   "settings": {     "analysis": {       "analyzer": {         "paths": {            "tokenizer": "path_hierarchy"         }       }     }   } } path_hierarchy tokenizer讲解 /
springboot+es实现对word,pdf,txt等文件的非结构化数据全文内容检索
06-06
SpringBoot是一种快速构建基于Spring框架的Java应用程序的工具。为了实现对word、pdf、txt等文件的非结构化数据全文内容检索，可以使用SpringBoot和Elasticsearch（ES）来实现。Elasticsearch是一种开源搜索引擎，其使用简单、快速高效、支持几乎所有类型的查询操作。 首先，需要将word、pdf、txt等文件的非结构化数据存储到ES中。可以使用Java中的POI、Apache Tika等工具来解析这些文件，将其转换为需要的文本格式，并将其存储到ES中。可以使用Spring Data Elasticsearch来实现与ES的交互，并创建一个Document对象来表示每个文件。 其次，需要编写一个查询方法来搜索这些文件。可以使用ES提供的全文检索功能，使用户可以搜索其内容并找到与搜索关键字相关联的文件。可以使用Spring Data Elasticsearch来创建查询对象并执行查询，将结果返回给用户。 需要注意的是，对于Word和PDF等二进制文件，需要将其转换为文本格式，而对于文本文件，只需将其直接存储到ES中。此外，还需考虑一些优化措施，如数据分片、数据备份和恢复等，以确保数据的完整性和可靠性。 最后，SpringBoot和ES的集成可以大大简化非结构化数据全文内容检索的开发和部署工作。它不仅可以提高检索效率，还可以保证数据的高可靠性和安全性。因此，它是一种非常有用的工具，可以满足企业的数据检索和管理需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值