spark读取hdfs上的bson包，并解析

最新推荐文章于 2020-09-20 11:02:06 发布
最新推荐文章于 2020-09-20 11:02:06 发布
阅读量1.1k 收藏
点赞数
分类专栏： spark 文章标签： spark hdfs 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014236468/article/details/78663509
版权
这篇博客介绍了如何在公司环境中利用Spark从HDFS上读取BSON格式的数据。通过配置MongoDB的Hadoop连接器，设置输入格式为BSONFileInputFormat，并指定数据路径，然后初始化SparkConf和SparkContext。接着，使用newAPIHadoopRDD方法读取BSON文件，并对数据进行清洗，最后将结果写入到HDFS中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

公司的数据是bson的格式的，需要用到spark的dataF，代码如下：


val mongoConfig = new Configuration()

   //输入数据的格式路径

    mongoConfig.

最低0.47元/天 解锁文章
解析MongoDB查询出的多条json（bson）数据并转化为可分析的表格（Python实现+图文）
可乐联盟
05-08 4718
解析MongoDB查询出的json数据并转化为表格 问题描述：我们从MongoDB查询出的数据想要进行分析，需要转换成我们可以分析的格式，要进行json解析成我们想要的格式，比如表格 MongoDB查询出来的结果如下（一个文件里面由多个json（Bson）格式组成） /* 1 */ { "applyInfo" : { "_id" : "20190322", ...
SparkSql读取HDFS文件写出到MySQL的问题
路飞
07-01 839
SparkSql读取HDFS文件写出到MySQL 用SparkSQL来处理存放在HDFS文件，操作起来优雅简洁，同时写出到数据库中，比SparkRDD操作跟简单，在此之前确保HDFS所在服务器的访问端口是否开通一般为9000端口，文章里是8020端口。文章中使用的数据为MongoDB的数据到HDFS上的，数据格式（BSON）和JSON是大同小异的。 数据格式 {"oil":0,"simNo":"010000000002","carId":304648943587868672,"address":null,"
spark-submit 提交保存输出文件到hdfs上报错
huonan_123的博客
11-20 1917
hdfs java.io.IOException: Mkdirs failed to create
地铁译：Spark for python developers ---Spark的数据戏法
我相信......
05-21 1万+
聚焦在 Twitter 上关于Apache Spark的数据, 这些是准备用于机器学习和流式处理应用的数据。 重点是如何通过分布式网络交换代码和数据，获得 串行化, 持久化 , 调度和缓存的实战经验 。 认真使用 Spark SQL, 交互性探索结构化和半结构化数据. Spark SQL 的基础数据结构是
Spark dataframe， Spark dataframe 受到了
MongoDB + Spark: 完整的大数据解决方案
u010385646的专栏
09-30 1万+
原文链接 Spark介绍 按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。 通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。快速： 这个可能是Spark成功的最初原因之一，主要归功于其基于
spark(scala)中对mongodb以及excel的处理和小问题的解决(比如select传入可变参数问题解决）
qq_35235032的博客
09-20 481
背景： 采用spark读取mongodb和Excel的数据，由于mongodb是bson类型的数据，需要的字段名比较少且按照层级选取，想到的办法是先把数据全部读成df，然后通过select操作查找需要的字段 出现的问题是： 因为将生成特定字段的df封装成函数，而函数本身是需要传入字段名列表(Seq类型)的，而select操作通过看源码接收的参数类型是 col : scala.Predef.String, cols : scala.Predef.String* 类型的，所以需要处理 相关函数
Windows+Spark+Scala+Hadoop+Hive+Mysql环境搭建 实现读取Mongo数据写入hive
weixin_38705082的博客
11-06 1080
一.jdk安装部署 1.去官网下载jdk1.8.0_201.tat.gz; 解压jdk1.8.0_201.tat.gz至D:\soft\Java\jdk1.8.0_201 2.配置系统环境变量（因为简单所以省略具体步骤） 二.Hadoop安装部署 1.去Hadoop官网下载hadoop2.7.7.tar.gz； 下载hadooponwindows-master.zip（后面有用） 解压hadoop...
python大数据基础知识点（Hadoop+HDFS+MapReduce+Hive+Hbase）
junjun的专栏
04-30 1313
python大数据基础知识点 ***概述 起源：Google 3篇论文 GFS ,MapReduce ,BigTable Doug Cutting 写 Hadoop HDFS - GFS， MapReduce -- MapRe...
java解析读取Bson数据
wq_wangqiang的博客
08-22 6388
2需要引入bson-3.8.1.jar 使用BasicBSONDecoder类中的readObject进行读取数据。代码如下图所示。 package com.wq.ta.da.util; import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream; import java.io...
spark与MogoDB不得不说的故事
我见青山多妩媚，料青山见我应如是
10-25 1802
一.背景 spark2.x Scala 2.11.x 截取pom.xml <dependencies> <dependency> <groupId>org.mongodb.spark</groupId> <artifactId>mongo-spark-connector_2.11</artifactId> <v...
spark+mongodb大数据框架搭建
chenguohong88的博客
09-05 8435
spark+mongodb大数据框架搭建
<转>当MongoDB遇见Spark
yongjian_luo的专栏
03-27 1562
适宜读者人群 正在使用Mongodb的开发者 传统Spark生态系统 和 MongoDB在Spark生态的角色 传统Spark生态系统 Spark生态系统 那么Mongodb作为一个database, 可以担任什么样的角色呢? 就是数据存储这部分, 也就是图中的黑色圈圈HDFS的部分, 如下图 用MongoDB替换HDFS后的Spark生态系统
spark读取mongodb数据配置
Maxi的专栏
03-27 5910
原文出处：http://blog.youkuaiyun.com/omrapollo/article/details/66968147引入依赖创建方法见上一篇博客： Spark+IntelliJ IDEA创建项目引入如下依赖： 实现代码import org.apache.hadoop.conf.Configuration import org.apache.log4j.{Level, Logger} impor
spark 读取json文件并分析
热门推荐
archer的技术故事
01-07 2万+
spark 读取json文件并分析 本文主要介绍如何通过读取json文件到spark中然后进行分析。 本文阅读前提： 1、能够正常的跑起来spark 2、有一定的scala语言知识 3、了解json4s的基本功能和用法（http://blog.youkuaiyun.com/wild46cat/article/details/54171973和http://blog.youkuaiyun.com/wild46ca
Spark读取和存储HDFS上的数据
abcdefg90876的博客
11-30 1万+
本篇来介绍一下通过Spark来读取和HDFS上的数据，主要包含四方面的内容：将RDD写入HDFS、读取HDFS上的文件、将HDFS上的文件添加到Driver、判断HDFS上文件路径是否存...
20200429 关于MongoDB 简介
do what you like && brave
04-29 1614
官方链接：https://www.runoob.com/mongodb/mongodb-tutorial.html MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 1.是什么 2.为什么 3.怎么...
Scala远程连接MongoDB读取数据
ZK教皇的博客
05-10 3136
    使用用户名和密码远程连接MongoDB数据库，用Java和Scala连接其实原理相同，都是JDBC，用MongoDB的连接驱动，只是语法上稍有区别而已，而在类、方法的调用上一模一样。      在此，分享一下Scala连接MongoDB查看数据的Code，语法结构上稍作修改就可以用Java实现。首先，下载连接驱动，添加到工程里，下载地址：mongo-java-driver-3.7.0.ja...
python 网络爬虫（十四）replaction复制集的实现 + MongoDB数据的几种不同方式导入导出恢复（json，bson，csv格式）
langdei的博客
11-10 810
文章目录一、MongoDB数据的导入导出1. 通用选项2. mongoexport 导出json格式的文件与mongoimport导入（1）mongoexport 导出json文件步骤（2）mongoimport导入（3）mongoexport导出csv格式（4）mongoimport导入csv文件3. mongodump导出二进制bson结构的数据及其索引信息（1）mongodump导出步骤4....
spark读取hdfs上的多目录parquet文件
03-16
要使用Spark读取HDFS上的多目录Parquet文件，可以按照以下步骤操作： 1. 创建SparkSession对象 ```scala val spark = SparkSession.builder() .appName("Read Parquet Files from HDFS") .master("local[*]") .getOrCreate() ``` 2. 读取Parquet文件 ```scala val df = spark.read.parquet("hdfs://<namenode>:<port>/<path1>,hdfs://<namenode>:<port>/<path2>,...") ``` 其中，`<namenode>`是HDFS的NameNode节点地址，`<port>`是HDFS的端口号，`<path1>,<path2>,...`是多个Parquet文件所在的目录路径，用逗号分隔。 3. 显示数据 ```scala df.show() ``` 以上就是使用Spark读取HDFS上的多目录Parquet文件的步骤。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值