Spark 博文

最新推荐文章于 2025-01-13 17:40:11 发布
原创 最新推荐文章于 2025-01-13 17:40:11 发布 · 524 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

Apache Spark MLlib
AI天才研究院
07-02 212
Apache Spark MLlib 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM Apache Spark MLlib Apache Sp
spark相关不错博文
yrsg666的博客
12-19 131
1、spark大而全的使用经验总结 https://blog.youkuaiyun.com/pzw_0612/article/details/52826761
spark - 博文参考
Lucy619_的博客
01-12 789
博文参考 Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解https://www.cnblogs.com/bonelee/p/11063453.html
Spark深入解析：博文大纲
wzc8961661的博客
05-09 1581
目录Spark基础解析SparkScoreSparkSqlSparkStreamingStructuredStreaming Spark基础解析 Spark深入解析（一）：Spark的前世今生 https://blog.youkuaiyun.com/wzc8961661/article/details/105605342 Spark深入解析（二）：Spark与Hadoop、MapReduce、Hive、Storm关系与对比 https://blog.youkuaiyun.com/wzc8961661/article/details
Spark安装使用
2301_77072202的博客
01-13 726
安装Spark之前，需要安装JDK、Hadoop、Scala。官网下载地址(需要oracle账号)
Spark SQL
jiandanbuguo的博客
11-18 333
一、SQL on Hadoop SQL是一种传统的用来进行数据分析的标准 Hive：原始的SQL-on-Hadoop解决方案 Impala：和Hive一样，提供了一种可以针对已有Hadoop数据编写SQL查询的方法 Presto：类似于Impala，未被主要供应商支持 Shark：Spark SQL的前身，设计目标是作为Hive的补充 Phoenix：基于HBase的开源SQL查询引擎 二、Spark SQL Spark SQL的前身 Shark是spark sql的前身，它的设计初衷是让Hive运行在
spark调优
purisuit_knowledge的专栏
06-10 454
转载自：https://blog.youkuaiyun.com/lw_ghy/article/details/52946136 spark.driver.extraJavaOptions -XX:PermSize=128M -XX:MaxPermSize=256M cluster模式： spark.driver.extraJavaOptions -XX:PermSize=1024M -XX:MaxPerm...
Spark Streaming总结
静待花开
08-17 2209
一、本质 Spark Streaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理 二、Spark Streaming和Spark Core 2.1 逻辑关系： 2.2 物理关系： 1) DStream：Spark Streaming提供了表示连续数据流的、高度抽象的被称为离散流的DStream 2) 任何对DStream的操作都会转变...
SparkStreaming
糊里糊涂走进大数据的小菜鸡
01-07 1534
在大数据的各种框架中，hadoop无疑是大数据的主流，但是随着时代发展，hadoop只适用于离线数据的处理，无法应对一些实时数据的处理分析，我们需要一些实时计算框架来分析数据。因此出现了很多流式实时计算框架，比如Storm，Spark Streaming，Samaz等框架，本文主要讲解Spark Streaming的工作原理以及如何使用。 1. SparkStreaming SparkStreaming是微批处理，每隔一段时间处理一次，每隔一段时间将接收到的数据封装成一个rdd, 再触发一个job处理r.
spark 面试
u013939918的博客
06-13 427
1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合 Dataset：就是一个集合，用于存放数据的 Destributed：分布式，可以并行在集群计算 Resilient：表示弹性的，弹性表示 1.RDD中的数据可以存储在内存或者磁盘中； 2.RDD中的分区是可以改变的； 五大特性： 1.A list of partitio
spark
04-23
在博文链接中提到的iteye博客文章，虽然具体内容无法直接查看，但通常这样的博客会分享Spark的使用经验、源码解析或是特定功能的实现技巧。作者可能会讨论如何利用Spark SQL进行数据查询，或者深入到Spark的源码层面...
spark streaming kafka 到hive
mllhxn的专栏
10-04 8708
package com.kafkaimport java.text.SimpleDateFormat import java.util import java.util.Date import org.apache.spark.sql.SaveMode import org.apache.spark.sql.hive.HiveContext import org.apache.spark.strea
spark mllib 归一化
mllhxn的专栏
10-26 3551
val testdata=sql("select * from test").map{ line => line.toSeq.map {_.toString}.toArray }.map{ line =>(line(0),line(1),Vectors.dense(line.drop(1).drop(1).map(_.toDouble)))}.toDF("id","name","fea
yarn 内存计算
mllhxn的专栏
08-09 1536
Spark的Excutor的Container内存有两大部分组成： 堆外内存和Excutor内存   堆外内存(spark.yarn.executor.memoryOverhead)       主要用于JVM自身的开销。 默认： MAX(executorMemory * 0.10, 384m)  Excutor内存(spark.executor.memory)  Execution: ...
spark mllib 实战
mllhxn的专栏
10-04 1332
package com.userportraitimport org.apache.spark.mllib.clustering.BisectingKMeans import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.sql.SaveMode import org.apache.spark.sql.hive.HiveC
spark 实战笔记case3
mllhxn的专栏
01-30 985
val mapper = sc.textFile("/user/hive/warehouse/sla.db/e*_30days/").map(line => line.split("\073")).map(line => ( if (line(0)=="598017" || line(0)=="614420" || line(0)=="614421") line(5) else line(4), (
spark 实战笔记case4
mllhxn的专栏
01-30 582
package de.zalando.sla_spark_sqlimport org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConfobject SLA_parquetSQL { def main(args: Array[String]) {
spark2 spark scala
最新发布
01-18
### 关于Spark 2.x与Scala编程教程和文档 对于希望深入理解如何使用Spark 2.x以及与其配合使用的Scala语言，存在多种资源可供利用。 #### 官方文档 官方提供的文档是最权威的信息源之一。Apache Spark官方网站不仅提供了详细的API指南，还包括了一系列关于配置、部署等方面的说明[^1]。这些材料覆盖了从基础概念到高级特性的广泛主题，并且特别针对不同版本进行了更新维护，因此能够找到专门面向Spark 2.x系列的内容介绍。 #### GitHub项目实例 GitHub平台上有一个名为`scalaworkshop`的工作坊性质仓库，它包含了多个实用的例子来帮助开发者更好地掌握Scala的应用技巧[^2]。虽然这个库主要关注的是Scala本身的学习路径，但对于想要了解两者之间交互方式的人来说同样具有参考价值。通过研究其中涉及分布式计算模式的部分案例，可以加深对二者协作机制的理解。 #### 社区贡献的文章和技术博客 网络上有许多由经验丰富的工程师撰写的博文分享着他们在实际工作中运用这两项技术的经验心得。例如，在一篇讨论使用Apache Spark处理维基百科数据集的过程中所获得的知识点总结里提到过一些重要的实践要点[^4]。这类文章往往能提供书本之外的真实场景解决方案，有助于解决特定问题时遇到的技术挑战。 ```scala // 示例代码片段展示如何创建一个简单的RDD并执行操作 val conf = new org.apache.spark.SparkConf().setAppName("Simple Application") val sc = new org.apache.spark.SparkContext(conf) val data = Array(1, 2, 3, 4, 5) val distData = sc.parallelize(data) println(distData.reduce(_ + _)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值