关于spark读取elasticsearch中数据，但是无法实现过滤数据的问题

最新推荐文章于 2025-07-28 19:09:37 发布
原创 最新推荐文章于 2025-07-28 19:09:37 发布 · 2.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #elasticsearch

本文探讨了Spark在读取Elasticsearch数据时遇到的问题：特定条件下数据被错误地过滤掉。通过对比不同读取方式的效果，发现指定Type能有效解决此问题。

最近出现了一个问题，就是spark读取elasticsearch中的数据的时候，明明elasticsearch中有数据，但是spark读取数据，然后进行过滤的时候会把相关的数据都给过滤掉了，

找来找去是因为写index的时候出现的问题

当我使用这种方式读取es中的数据的时候，会出现的问题是

sc.esRDD("logstash-2016.11.24").values

这样读取的数据我使用filter过滤的时候没有任何的效果，都会过滤掉，但是 

sc.esRDD("logstash-2016.11.24/syslog").values

写上Type的时候，情况发生了改变，它过滤出来了我想要的数据，

这是为毛呢？因为我从开始用的时候就是以index来过滤的，没有写type，也可以，但是现在不行了


我又进行了测试，数据如下但是我按照原来的方式进行读取过滤的时候却可以正常进行过滤，这是为毛，不知道了


又要重新修改程序，麻烦啊

Scala操作Elasticsearch
TechSavant的博客
09-17 135
这里使用了Elastic4s的HttpClient来连接Elasticsearch，然后使用indexInto()方法创建了一个名为“my_index”的索引，名为“my_type”的类型，并在其中添加了一个id为“1”的文档，文档内容为“{“name”: “John”, “age”: 30}”。在Elasticsearch中，数据存储在索引中。这里使用了search()方法来指定要搜索的索引和类型，然后使用matchQuery()方法来指定查询条件，即在“name”字段中匹配“John”关键字。
elasticsearch中filter、must、should使用不生效问题
qq_32483795的博客
09-08 4666
这里写自定义目录标题写在前面原始需求变更需求问题分析解决问题 写在前面 项目中遇到了一个查询问题，原本查询是title=“A” or content=“B”，经需求优化，需要变成（title=“A” or content=“B”） and (state = “C”)。 原始需求 查询title或introduction中满足的字段值 GET forexknow_album_bean/_search { "query": { "bool": { "should": [
spark2.0 读取本地json数据到Elasticsearch时，过滤非法json
yixiaoqi2010的专栏
03-18 642
package es import net.minidev.json.parser.JSONParser import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.sql.{Dataset, SparkSession} import scala.collection.Map...
Spark 入门：从环境搭建到本地开发，小白也能看懂的超详细指南
最新发布
HENANwuyanzu66的博客
07-28 1257
实现离线数据批处理：类似于MapReduce、Pandas，写代码做处理：代码类的离线数据处理 。实现交互式即时数据查询：类似于Hive、Presto、Impala，使 用SQL做即席查询分析：SQL类的离线数据处理 。实现实时数据处理：类似于Storm、Flink实现分布式的实时计算：代码类实时计算或者SQL类的实时计算 。实现机器学习的开发：代替传统一些机器学习工具
es筛选数据_Spark整合Elasticsearch-从ES读取数据
weixin_39874269的博客
12-21 695
Spark整合Elasticsearch-从ES读取数据由于ES集群在拉取数据时可以提供过滤功能，因此在采用ES集群作为spark运算时的数据来源时，根据过滤条件在拉取的源头就可以过滤了(ES提供过滤)，就不必像从hdfs那样必须全部加载进spark的内存根据filter算子过滤，费时费力。代码：import org.apache.spark.{SparkConf, SparkContext}im...
Spark 读取elasticsearch数据
qq_28429443的博客
12-18 3726
最近在搞大数据的时候，遇到一个案例。之前的一些数据是设置死的。现在要改成动态读取es上的数据，然后在进行处理，就写了这么一个读取elasticsearch索引数据的例子 object SparkReadFromES { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("DecisionTre...
spark 读取elasticsearch中数据不完整问题
anlu的博客
06-28 2782
使用spark读取elasticsearch中的数据，使用es提供的api来进行， sc.esRDD("logstash").values 官方网站也是这种方式读取数据的，但是我测试的时候有时候会出现读取数据不完整的情况，比如本来读取的数据是这样的 Map(msg -> 2016-03-18 15:24:14 System_ID=ruijie sp_malware:Client_IP=172
项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）
10-24
在本项目实战中，我们将探讨如何使用Java编程语言，结合Spark和Hive，将Hive中的数据高效地导入到ElasticSearch（ES）中，并利用ES的别名机制实现数据更新的平滑过渡。以下是对这个流程的详细解析： 1. **Hive数据...
spark写DSL读取elasticsearch数据（内附踩坑点）
weixin_42473019的博客
02-16 1307
在一些场景下我们可能会遇到需要从es导出一部分特定的数据然后进行处理这样的情况，这个时候spark会是一个不错的选择。 第一步 maven配置 这里一些工具使用的版本： spark：2.3.4 elasticsearch：7.0.0 scala：2.11.8 maven配置如下： <dependencies> <!-- 导入scala的依赖 --> ...
spark读取es java_Spark读写ES
weixin_28725407的博客
02-27 1515
本文主要介绍spark sql读写es、structured streaming写入es以及一些参数的配置ES官方提供了对spark的支持，可以直接通过spark读写es，具体可以参考ES Spark Support文档(文末有地址)。以下是pom依赖，具体版本可以根据自己的es和spark版本进行选择：org.elasticsearchelasticsearch-spark-20_2.116.0...
spark之读写Elasticsearch
qq_56870570的博客
07-07 2881
最近有需求,要将spark的数据写入elasticsearch。亲自测试后,将结果进行分享： 直接上代码: 创建Maven工程pom文件: <properties> <spark.version>2.4.4</spark.version> <scala.version>2.11.12</scala.version> <hadoop.version>2.6.0</hadoop.v
Spark1.3使用外部数据源时条件过滤只要是字符串类型的值均报错
weixin_33841503的博客
03-23 125
CREATE TEMPORARY TABLE spark_tbls USING org.apache.spark.sql.jdbc OPTIONS ( url 'jdbc:mysql://hadoop000:3306/hive?user=root&amp;password=root', dbtable 'TBLS' ); select TBL_ID, TBL_...
spark-sql(四)---读写elasticsearch数据
热门推荐
敲码的汉子
12-07 1万+
sparksql读写elasticsearch sparksql将elasticsearch数据转换成RDD进行计算，测试下sparksql对elasticsearch的读和写的操作。 1环境 1.1软件环境 hadoop 2.7.3 spark 2.2 elasticsearch 5.6.4 jdk 1.8 1.2机器环境 节点 配置 组件 角色...
Scala Api 操作 Elasticsearch数据库
m0_48379126的博客
12-14 2158
1、操作前先导Maven包，注意版本一定要一致，新旧版本不兼容 <!--es 相关依赖开始 es客户端的版本必须和服务器版本一致--> <dependency> <groupId>io.searchbox</groupId> <artifactId>jest</artifactId> <version>6.3.1&l
Spark读取ElasticSearch数据库三种配置方式及其注意事项
aifen4802的博客
05-22 437
******重点中的重点，这是首先要注意的问题： 就是导入的org.elasticsearch.elasticsearch-spark-20_2.11 Jar包的版本一定要和要读取的ES数据库的版本保持一致， 如果比数据库版本低，会直接报错，如果高于数据库的版本，数据的解析会出现问题。 首先配置SparkConf 1 SparkConf conf = new...
spark中读取elasticsearch数据
寒翼的博客
05-14 9837
在spark中读取es的数据
Java Spark读取ElasticSearch数据，并分析
weixin_34232744的博客
09-07 2831
2019独角兽企业重金招聘Python工程师标准>>> ...
spark读取ES数据
高矮
02-13 8391
maven pom依赖配置：   &lt;dependency&gt;   &lt;groupId&gt;org.elasticsearch&lt;/groupId&gt;   &lt;artifactId&gt;elasticsearch-spark-13_2.10&lt;/artifactId&gt;   &lt;version&gt;6.1.2&lt;/version&gt; &
用spark streaming实时读取hdfs数据并写入elasticsearch中
06-28
### 回答1： 使用Spark Streaming可以实时读取HDFS数据，并将其写入Elasticsearch中。 具体步骤如下： 1. 创建Spark Streaming应用程序，并设置批处理间隔时间。 2. 创建一个DStream，从HDFS读取数据。 3. 对DStream进行处理，例如过滤、转换等操作。 4. 将处理后的数据写入Elasticsearch中。 代码示例： ```python from pyspark import SparkContext from pyspark.streaming import StreamingContext from pyspark.streaming.kafka import KafkaUtils from elasticsearch import Elasticsearch # 创建SparkContext和StreamingContext sc = SparkContext(appName="HDFS to Elasticsearch") ssc = StreamingContext(sc, 10) # 从HDFS读取数据 lines = ssc.textFileStream("hdfs://localhost:900/data") # 对数据进行处理 words = lines.flatMap(lambda line: line.split(" ")) filtered_words = words.filter(lambda word: len(word) > 3) # 将数据写入Elasticsearch es = Elasticsearch() def send_to_es(rdd): for record in rdd.collect(): es.index(index="myindex", doc_type="mytype", body=record) filtered_words.foreachRDD(send_to_es) # 启动StreamingContext ssc.start() ssc.awaitTermination() ``` 这段代码从HDFS读取数据，对数据进行过滤，然后将处理后的数据写入Elasticsearch中。其中，send_to_es函数用于将RDD中的数据写入Elasticsearch。在实际使用中，需要根据具体的需求进行修改。 ### 回答2： Spark Streaming是Apache Spark生态系统中的一种强大的流处理框架。它提供了实时流数据处理的能力，并且可以无缝地与Hadoop生态系统集成。同时，Elasticsearch是一种分布式搜索引擎，它能够快速准确地处理大规模文本数据。 使用Spark Streaming实时读取HDFS数据并将其写入Elasticsearch中，可以实现流数据的实时处理和导入到搜索引擎进行快速准确的查询和分析。具体实现步骤如下： 1. 创建一个Spark Streaming应用程序，并定义接收数据的源。在本例中，可以使用Hadoop FileSystem API来读取HDFS文件系统中特定路径下的文件。 2. 将Spark Streaming应用程序与Elasticsearch连接。这可以通过使用Elasticsearch-Hadoop库来实现。这个库提供了一些Spark RDD的API，可以让你从Spark RDD导入数据到Elasticsearch中。 3. 实现对于数据的转换，以便可以将数据写入到Elasticsearch中。这个过程可能需要一些数据清洗和转换。在本例中，可以使用Spark SQL来处理数据的转换。 4. 实现数据的写入到Elasticsearch中。在这个过程中，可以使用Hadoop API从Spark上下文中读取数据，并将其写入到Elasticsearch中。可以将数据写入到一个新的Elasticsearch索引或直接添加到现有的索引中。 5. 启动Spark Streaming应用程序，并监视其处理实时流数据和写入Elasticsearch的性能和表现。 总的来说，用Spark Streaming实时读取HDFS数据并写入Elasticsearch中是一种非常有效的处理流数据的方式。这种方法需要一定的技术知识和经验，但可以为企业和组织提供实时数据处理和搜索分析的能力，从而做出更明智的业务决策。 ### 回答3： Spark Streaming是通过流形式处理数据的一种框架，在不断增长的数据中，它可以实时读取数据，同时进行实时分析和存储。HDFS是一个基于Hadoop的分布式文件系统，用于存储和处理大量数据。Elasticsearch是一个实时分布式搜索与分析引擎，它可以快速处理大量数据。 我们可以通过使用Spark Streaming来实时读取HDFS数据并将其写入Elasticsearch中。这个过程可以分为以下步骤： 1.创建Spark Streaming对象 在程序开始之前，需要定义一个Spark Streaming对象，它由StreamingContext来创建，通过指定时间间隔（batch interval）来控制进行实时处理的数据块大小。这里我们根据需求设置数据块大小为1秒，创建一个StreamingContext对象： val conf= new SparkConf() val ssc = new StreamingContext(conf, Seconds(1)) 2. 读取HDFS数据 通过Spark的FileInputDStream对象传递数据从HDFS中读取数据, 我们通过DStream对象来表示一连串的RDDs，从而使数据可以在流处理中被处理。例子中是读取Hadoop文件系统当中的某个文件夹 hdfs://localhost:9000/data val inputRDD = ssc.fileStream[LongWritable, Text, TextInputFormat](“hdfs://localhost:9000/data") 3. 对数据进行实时处理 我们需要继续对数据进行处理，以便将数据传递到Elasticsearch中，这里开发者可以根据自己的需求定义数据处理的逻辑。处理完后，我们需要将数据打包成Elasticsearch所接受的JSON格式，例如： input.flatMap(x ⇒ x._2.toString.split(”\n”)).map(callYourProcessingLogicFunction).map(toJson).saveJsonToEs(“index/type”); 4. 将处理好的数据写入Elasticsearch 通过Spark对Elasticsearch的支持，可以利用DStream类中的foreachRDD方法将数据写入到Elasticsearch中。以下为代码示例： input.foreachRDD((rdd,time) => rdd.saveToEs(“index/type”) ) 这就是使用Spark Streaming实时读取HDFS数据并将其写入Elasticsearch中的过程。需要注意的是，我们在处理大规模数据时，一定要注意数据的处理速度，否则我们将无法及时，准确地完成相关的处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值