spark集群从HDFS中读取数据并计算

最新推荐文章于 2023-02-01 14:50:01 发布
原创 最新推荐文章于 2023-02-01 14:50:01 发布 · 2.8w 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #hdfs

本文档介绍了如何在已部署的Hadoop HDFS和Spark集群环境中，从HDFS读取数据并进行计算。首先，启动HDFS相关服务，包括Zookeeper、JournalNode和NameNode。接着，启动Spark集群，并通过Spark Shell读取HDFS上的文件，执行WordCount样例程序进行计算，最后将结果保存回HDFS。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、             利用spark从hadoop的hdfs中读取数据并计算

1.1准备阶段

部署好hadoop分布式搭建（+zookeeper，6台机器）可以参考这篇博客：http://blog.youkuaiyun.com/vinsuan1993/article/details/70155112

 

主机名

IP

安装的程序

运行的进程

Heres01

192.168.2.108

jdk、hadoop、zookeeper、spark

DataNode

JournalNode

Master

QuorumPeerMain

NodeManager

Heres02

192.168.2.99

jdk、hadoop、zookeeper、spark

DataNode

JournalNode

Worker QuorumPeerMain

NodeManager

Heres03

192.168.2.109
最低0.47元/天 解锁文章

200万优质内容无限畅学
Java中String，StringBuilder，StringBuffer三者的区别
单丝映画
06-28 560
String，StringBuilder，StringBuffer三者区别主要体现在两个方面，即运行速度和线程安全。 一.运行速度 运行速度比较 StringBuilder > StringBuffer > String 原因分析 a. String为字符串常量，String在设计的时候基于安全和性能的原因设置为final不可变，我们代码中对字符串的操作，实际上是重新ne...
Java中的String、StringBuilder、StringBuffer
最新发布
Broken_x的博客
08-29 877
使用String适用于字符串不频繁修改且不需要线程安全的场景。 使用StringBuilder适用于单线程环境下需要频繁修改字符串的场景。 使用StringBuffer适用于多线程环境下需要频繁修改字符串的场景。
Java 中 String，StringBuffer 和 StringBuilder 的区别及用法
08-31
"Java 中 String、StringBuffer 和 StringBuilder 的区别及用法" Java 中 String、StringBuffer 和 StringBuilder 是三个常用的字符串操作类，了解它们之间的区别对 Java 开发者来说非常重要。本文将详细介绍这三者...
浅谈java中String StringBuffer StringBuilder的区别
09-02
总结一下，三者在运行时间上的效率排序大致为：`String` > `StringBuffer` > `StringBuilder`。如果你在单线程环境中处理字符串，推荐使用`StringBuilder`，因为它既高效又灵活。而在多线程环境中，为了保证线程安全...
java String、StringBuilder和StringBuffer的区别详解
08-25
1. **都是字符串类**：这三者都是Java中用于处理文本的类，其中`String`是最基础的字符串类，而`StringBuilder`和`StringBuffer`则是`String`的可变版本。 2. **基于数组存储**：它们内部都是用字符数组来存储字符串...
java中String StringBuilder StringBuffer比较和效率（性能）测试
qq_39827033的博客
03-19 2324
java中String StringBuilder StringBuffer比较和效率（性能）测试 string stringbuilder stringbuffer三者的区别 从JDK源码看，String、StringBuilder、StringBuffer都是存放在char[] 数组字符串。 简单看下三者的部分源码： String定义属性和构造方法： public final class String implements java.io.Serializable, Compara...
Java中String、Stringbuffer、StringBuilder的区别
Fang_study的博客
10-11 222
最近在学习Java的时候，遇到了这样一个问题，就是String,StringBuilder以及StringBuffer这三个类之间有什么区别呢，自己从网上搜索了一些资料，有所了解了之后在这里整理一下，便于大家观看，也便于加深自己学习过程中对这些知识点的记忆，如果哪里有误，恳请指正。 这三个类之间的区别主要是在两个方面，即运行速度和线程安全这两方面。 首先说运行速度，或者说是执行速度，在这方面运行速...
java中String StringBuilder 以及 StringBuffer比较
汽水儿要加冰
10-23 168
1.速度快慢为：StringBuilder > StringBuffer > String 原因：String为字符串常量，而StringBuilder和StringBuffer均为字符串变量，即String对象一旦创建之后该对象是不可更改的，但后两者的对象是变量，是可以更改的。 2. 线程安全 StringBuilder是线程不安全的，而StringBuffer是线程安全的。 ...
Java中String、StringBuffer和StringBuilder比较
weixin_42652059的博客
12-30 493
Java常用类String String String声明为final的，不可被继承 String实现了Serializable接口：表示String是支持序列化的 String实现了Comparable接口：表示String可以比较大小 String内部定义了final char[ ] value用于存储字符串数据 String代表不可变的字符序列（不可变性） 当对字符串重新赋值时，需要重写指定内存区域赋值，不能使用原有的value进行赋值 当对现有的字符串进行连接操作时，也需要重新指定内存区域赋值，
PMD规则之String and StringBuffer Rules
热门推荐
jack0511的专栏
10-27 1万+
PMD规则之String and StringBuffer Rules
string、stringbuffer和stringbuilder运行速度的直观区别
nnnnnnnnnnnnnnni的博客
02-01 467
string、stringbuffer和stringbuilder运行速度的直观区别
StringBuilder等字符连接的性能分析（Concatenating Strings Efficiently）
weixin_30254435的博客
10-10 178
许多开发者认为改善性能的途经之一是使用StringBuilder去连接strings,其实这有一定的误解！但幸运的是它有时候确实能改善性能！如下： 1 .我们应该避免以下问题 using System; public class Test { static void Main() { DateTime start = DateTime.Now; st...
简述 String、StringBuffer 和 StringBuilder 三者的区别
09-12
String、StringBuffer 和 StringBuilder 是 Java 中用于处理字符串的三个类。 1. String 类： String 类是不可变的，即创建后不能被修改。每次对字符串进行修改都会创建一个新的字符串对象。例如： ``` String str = "Hello"; str += " World"; ``` 在上面的代码中，"Hello" 和 " World" 是两个不同的字符串对象，通过 `+=` 操作符连接后，会创建一个新的字符串对象 "Hello World"。 2. StringBuffer 类： StringBuffer 类是可变的，可以对字符串进行修改。它是线程安全的，适用于多线程环境下的字符串操作。例如： ``` StringBuffer sb = new StringBuffer("Hello"); sb.append(" World"); ``` 在上面的代码中，"Hello" 是一个 StringBuffer 对象，通过 `append()` 方法连接后，会直接对原对象进行修改，得到一个新的 StringBuffer 对象。 3. StringBuilder 类： StringBuilder 类也是可变的，可以对字符串进行修改。它与 StringBuffer 类相似，但不保证线程安全。适用于单线程环境下的字符串操作。例如： ``` StringBuilder sb = new StringBuilder("Hello"); sb.append(" World"); ``` 在上面的代码中，"Hello" 是一个 StringBuilder 对象，通过 `append()` 方法连接后，会直接对原对象进行修改，得到一个新的 StringBuilder 对象。 总结： - String 是不可变的，每次修改都会创建一个新的对象。 - StringBuffer 是线程安全的可变字符串，适用于多线程环境。 - StringBuilder 是非线程安全的可变字符串，适用于单线程环境。 在性能方面，StringBuilder 的性能通常优于 StringBuffer，因为不需要进行线程同步。但在多线程环境下，仍然推荐使用 StringBuffer。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值