Spark 附带示例完整解释（原文已在IBM Developworks发表）

最新推荐文章于 2020-06-30 19:43:58 发布
原创 最新推荐文章于 2020-06-30 19:43:58 发布 · 9.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark #附带示例解释

本文详细介绍了 Spark 的日志分析和网页计分示例，包括 SCP 命令、RDD 的创建与操作、数据处理和作业调度。通过代码清单展示了如何读取、分析日志文件，计算网页分值，并讨论了 Spark 作业调度模块的工作流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前文回顾

从上一篇本文作者的文章《Spark 部署及示例代码讲解》已经可以知道示例代码的执行顺序是依次从左向右的，Run-example.sh->load-spark-env.sh->lib 目录下的 jar 包文件->spark-submit.sh->spark-class，图 1 给出了整体脚本调用顺序。

图 1. Spark 示例代码运行过程描述图
图 1. Spark 示例代码运行过程描述图

点击查看大图

回页首

SCP 命令

由于涉及到 Linux 操作系统，可能读者需要在多台机器间进行数据拷贝，所以列举了 SCP 命令的使用方式。Linux 的 SCP 命令可以被用于在 Linux 之间复制文件和目录。

从本地复制到远程

复制文件：

命令格式：

scp local_file remote_username@remote_ip:remote_folder

或者

scp local_file remote_username@remote_ip:remote_file

或者

scp local_file remote_ip:remote_folder

或者

scp local_file remote_ip:remote_file

复制目录：

命令格式：

scp -r local_folder remote_username@remote_ip:remote_folder

或者

scp -r local_folder remote_ip:remote_folder

从 远程 复制到本地

从远程复制到本地，只要从本地复制到远程的命令的后 2 个参数调换顺序。

例如：

scp root@www.cumt.edu.cn:/home/root/others/music /home/space/music/1.mp3

scp -r www.cumt.edu.cn:/home/root/others/ /home/space/music/

回页首

分析日志文件例子

我们可以通过命令./bin/run-example JavaLogQuery 来运行程序，如果不清楚具体如何运行 Spark 内置示例程序，请参考《Spark 部署及示例代码讲解》。运行结果如清单 1 所示。

清单 1. 日志分析程序运行输出
最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark Streaming 新手指南（原始文章已经发布表在IBM Developworks）
05-02 8283
本文首先通过运行 Spark Streaming 自带的 WordCount 示例开始带领读者进入 Spark Streaming 领域，然后再对 WordCount 代码逐条解释，逐渐让读者了解 DStream 等 Spark Streaming 特有组件定义，最后对 Spark Streaming 的一些特性、优点、缺点进行总结。
Eclipse的剖析及插件开发【转载自IBM developworks】
Louis的专栏
08-18 2796
2001 年11 月 IBM 宣布捐出了价值 4 千万美金的开发软件给开放源码的 Eclipse 项目。如此受青睐的 Eclipse 是什么样子呢，如何使用呢？本文的第一部分会使你对Eclipse有一个初步的认识。并且，Eclipse这个号称未来能进行任何语言开发的IDE集大成者，又将如何实现它的这一宏伟目标？第二部分介绍的Eclipse的插件开发将是其中的关键所在。Eclipse 是替代IB
SparkExample:Spark相关的一些例子，代码详细注释并赋予相关代码解析
05-15
基于spark大数据平台写的一些简单例子 关于spark平台的Streaming、sql、sparkMllib、spark写的一些简单的demo程序 这边可以直接将项目下载下来导入到eclipse或则Intellij IDE中，每一个程序都能单独执行，里面给出了程序的详细注释，结合deployDoc对Spark进行相关分析。 ###该程序主要分为四个模块 spark包: 主要和spark相关的一些例子 sparkStreaming包: 主要是和SparkStreaming相关的一些例子 sparksql: 主要是和sql相关的一些例子 sparkMllib: 主要是和机器学习相关的例子
Spark最全操作完整示例代码
08-03
最全Spark操作完整示例代码-------是基于java的。 包含所有的spark常用算子操作和ml以及mlib、sparkstreaming、sparkSQL操作的示例DEMO。 内附有详细说明,由于内容过大删除了两个jar包,需要自己去下载,spark的安装包下的有这两个包，导入项目即可。懒得改maven项目了。 适合有一定基础和已经工作的人员下载学习。 个人Github: https://github.com/huangyueranbbc
Spark最全操作完整示例代码下载地址.txt
08-06
Spark最全操作完整示例代码下载地址,有需要的赶紧下载！！！
一个Spark Demo与代码详解
CalicoBox的博客
08-04 1445
一个Spark Demo与代码详解
ibm lpi 教程
05-11
ibm developworks 上面的lpi系列教程。非常好的lpi过级资料。强烈推荐。
BuildAndUseAGccBasedCrossCompiler.zip
06-12
来源：IBM developWorks 大牛原创； 简介：结合实际经验，讲解如何从零开始构建一个基于GCC的跨平台编译器，及如何使用； 特点：简洁（有效内容只有十页左右，大约半小时阅读完）、实用、权威。
Linux IO子系统和文件系统读写流程
jasonLee的博客
09-25 1878
我们所有分析的，是基于2.6.32及其后的内核. 我们在Linux上总是要保存数据，数据要么保存在文件系统里（如ext3），要么就保存在裸设备里。我们在使用这些数据的时候都是通过文件这个抽象来访问的，操作系统会把我们需要的数据提交给我们，而我们则无需和块设备打交道。 从下图，我们可以清除的看到： I/O子系统是个层次很深的系统，数据请求从用户空间最终到达磁盘，经过了复杂的数据流动。 对设驱开发人...
使用developerWorks进行创作
cuyi7076的博客
06-26 354
入门 developerWorks的编辑们期待与您一起发布您的内容。 在使用这些说明之前，请确保您已将您的想法提交给developerWorks编辑，并已获得他或她的许可以继续您的内容。 如果您还没有，可以使用我们的内容提交表来提交您的想法。 内容以HTML格式发布在developerWorks上，但是从XML（可扩展标记语言）格式生成。 您的developerWorks编辑器会将Mi...
developerWorks Java技术：十周年
cusi77914的博客
06-30 371
早在1999年，当我担任JavaWorld的编辑时，我的总编辑Michael O'Connell被IBM®聘用，负责一个名为developerWorks的项目的编辑工作。 我在Michael离开不久后就离开了JavaWorld ，经过一系列的中途停留（包括在Sun Microsystems的短暂工作），我跟随Michael到dW来管理Java技术专区。 那是在2000年11月。 从那时起，...
关于IBM developworks上的tomcat comet示例
行云流水
01-25 3932
IBM developworks网站上这个示例的网址：使用 Java 实现 Comet 风格的 Web 应用,我们都知道servlet3.0添加了类似comet风格的异步功能，但是至今除了glassfish3以外，我还没发现其它实现servlet3.0的web容器。所以有些人还在玩各个容器自己的异步servlet实现。恰巧今天一个同事问我怎么没办法运行这个示例，google一下，发现网上有
Spark Streaming 图片处理案例介绍
xuguokun1986的博客
09-24 1376
流式处理框架特征 流式处理框架的特征主要有以下五个方面。 1. 强实时处理 流式处理需要确保数据的实时产生、实时计算，此外，也需要确保处理结果的实时发送。大多数流式处理架构多采用内存计算方式，即当数据到达后直接在内存中计算，只有少量数据会被保存到硬盘，或者干脆不保存数据。这样的系统架构可以确保我们能够提供低延迟计算能力，可以快速地进行数据计算，在数据较短的时间内完成计算，体现数据
spark internal - 作业调度
热门推荐
colorant的专栏
04-18 1万+
作者：刘旭晖 Raymond 转载请注明出处 Email：colorant at 163.com BLOG：http://blog.youkuaiyun.com/colorant/ 在Spark中作业调度的相关类最重要的就是DAGScheduler，DAGScheduler顾名思义就是基于DAG图的Scheduler DAG全称 Directed Acyclic
WID developworks
yanghaijin的专栏
01-18 407
1.在 WID/WPS 中开发、配置、部署以通用 JMS 作为消息中间件的应用http://www.ibm.com/developerworks/cn/websphere/library/techarticles/0904_cuishu_jms/2.活学巧用WID中的映射http://www.ibm.com/developerworks/cn/websphere/library/t
Spark——键值对操作
俺叫赵小邪的博客
11-28 7462
一、动机 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pairRDD。提供并行操作各个节点或跨界点重新进行数据分组的操作接口。 二、创建Pair RDD 1、在sprk中，很多存储键值对的数据在读取时直接返回由其键值对数据组成的pair RDD。 2、可以调用map()函数，将一个普通的RDD转换为pair RDD。 在Scala中，为了提
scala学习笔记：理解并行集合par
白乔专栏
02-28 9341
scala> (1 to 5).foreach(println(_)) 1 2 3 4 5scala> (1 to 5).par.foreach(println(_)) 1 2 3 4 5以下代码获取到参与并行计算的线程：scala> (0 to 10000).collect{case _ => Thread.currentThread.getName}.distinct res53: scala.
scala并行集合
sinat_34788899的博客
01-19 2420
将普通集合转化成为并行集合：arr（非并行） arr.par（并行集合） 1现在有一个集合，对它的每个元素进行处理，比如: scala> (1 to 5).foreach(println(_)) 12345 scala> (1 to 5).par.foreach(println(_)) 31425 2以下代码获取到参与并行计算的线程： scala> (0
如何使用Spark大规模并行构建索引
三劫散仙
02-01 4804
使用Spark构建索引非常简单，因为spark提供了更高级的抽象rdd分布式弹性数据集，相比以前的使用Hadoop的MapReduce来构建大规模索引，Spark具有更灵活的api操作，性能更高，语法更简洁等一系列优点。  先看下，整体的拓扑图：  然后，再来看下，使用scala写的spark程序：  Java代码   package com
pair 初始化
最新发布
03-25
### 初始化 `pair` 数据结构的方法 在 C++ 中，`std::pair` 是标准库提供的一种数据结构，用于存储两个不同类型或相同类型的值。以下是几种常见的初始化方式： #### 使用构造函数初始化 可以通过显式的构造函数来创建并初始化一个 `pair` 对象。这种方式是最基础也是最直观的方式之一[^1]。 ```cpp #include <utility> // std::pair 头文件 std::pair<int, double> p1(10, 3.14); ``` #### 使用大括号 `{}` 进行初始化 自 C++11 起，可以使用统一的初始化语法（即大括号 `{}`），这使得代码更加简洁明了[^3]。 ```cpp std::pair<int, std::string> p2{42, "Hello"}; ``` 需要注意的是，在某些编译器实现中，这种形式可能会引发隐式类型转换的问题，因此应谨慎使用。 #### 利用 `make_pair` 函数简化初始化过程 为了减少模板参数书写的冗余，C++ 提供了一个辅助函数 `std::make_pair` 来快速构建 `pair` 实例[^2]。 ```cpp auto p3 = std::make_pair(7, &#39;A&#39;); // 等价于：std::pair<int, char> p3(7, &#39;A&#39;); ``` 此方法会自动推导出键和值的具体类型，从而提高开发效率。 --- ### 其他语言中的类似概念及其初始化方式 虽然本讨论主要围绕 C++ 展开，但在其他编程语言里也有类似的机制用来表示两元组或者更广义上的多维集合成员关系。例如 Python 的 tuple 类型可以直接通过逗号分隔列表定义；而在 Java 当中则可能需要借助第三方库如 Apache Commons Lang 或者自行设计内部类模拟这一功能特性。 ```python # Python example p_python = (5, "World") # 自动识别为tuple ``` ```java // Java example with custom class Pair<K,V> public static class Pair<K, V> { public final K key; public final V value; public Pair(K k, V v){ this.key=k;this.value=v;} } Pair<String,Integer> javaPair=new Pair<>("Example",42); ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值