Apache spark 2.4.3官方文档翻译之 spark overview

最新推荐文章于 2022-05-12 11:31:20 发布
最新推荐文章于 2022-05-12 11:31:20 发布
阅读量665 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： spark overview
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/pure95214/article/details/93072313

Apache spark 2.4.3官方文档翻译之 spark overview

原文地址 ：http://spark.apache.org/docs/latest/
水平有限，欢迎提出任何建议，一起学spark！

Apache spark是一个快速通用的集群计算系统。它为多种语言提供API，包括Java, Scala, Python和R，及优化了的图像处理引擎。它拥有一系列高级工具，如针对SQL语言和结构化数据处理的spark SQL，针对机器学习的MLlib，针对图像处理的GraphX，以及处理流计算的Spark Streaming

安全性

在spark中安全保护默认关闭，即在默认状态下易受到攻击。请在下载和使用前查看Spark Security。

下载

从项目网站的

最低0.47元/天 解锁文章

200万优质内容无限畅学
spark java文档中文版_Spark3.0中文官网文档
weixin_39907850的博客
02-28 1630
本帖最后由 hanyunsong 于 2020-7-16 17:21 编辑Apache Spark是用于大规模数据处理的统一分析引擎. 它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎. 它还支持一组丰富的更高级别的工具，包括星火SQL用于SQL和结构化数据的处理， MLlib机器学习， GraphX用于图形处理，以及结构化流的增量计算和流处理.Securi...
Spark性能调优官方指南
qq_37163925的博客
06-16 1519
Spark性能调优官方指南1、数据序列化2、内存调优2.1 内存管理概述2.2 确定内存消耗2.3 调整数据结构2.4 序列化RDD存储2.5 垃圾回收器优化2.5.1 衡量GC的影响2.5.2 高级GC调整3、其他注意事项3.1 并行度3.2 Reduce Task的内存使用3.3 广播”大变量“3.4 数据本地性 前言 由于大多数Spark计算基于内存的性质，群集中任何资源（CPU，网络带宽或内存）都可能成为Spark程序的性能瓶颈。通常，如果数据和内存合适，则瓶颈是网络带宽，但是有时，我们还需要进行一
Spark中文手册3：Spark之基本概念
wanmeilingdu
05-09 661
问题导读 1、什么是Spark Streaming？ 2、如何创建StreamingContext对象？ 3、什么是高级源？
SPARK官方文档中文翻译
qq_35725352的博客
12-09 1158
Spark版本：1.6.0转载请注明出处：http://www.cnblogs.com/BYRans/1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell) 4 弹性分布式数据集(RDDs) 4.1 并行集合(Parallel
Spark 官方文档概览3.0.1
xiaohu21的博客
09-17 1020
Spark 官方文档概览3.0.1 背景 官方文档地址 https://spark.apache.org/docs/latest/ 1. 概览 2. 安全 spark默认安全功能是关闭的，因为安全特性会对数据传输，数据访问等做更多校验，一定程度影响性能和使用便捷性。 一般spark集群部署时会设置一台堡垒机，spark集群之间安全性设置会弱化，但堡垒机的安全特性会提升到最高。这样可以兼顾安全性和集群的使用便捷性。 3. 下载 这里注意，java版本最好使用java8。这也是目前企业开发中主流的j
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
黑泽君
05-04 2654
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
Apache Griffin-0.5.0 数据质量监控工具安装及运行batch，streaming数据质量监测demo
weixin_40004348的博客
07-08 3860
Apache Griffin 数据质量监控工具 官网：http://griffin.apache.org/docs/quickstart-cn.html github: 参考：https://cwiki.apache.org/confluence/display/GRIFFIN/1.+Overview 测试流数据：http://griffin.apache.org/data/streaming/ 测试批数据：http://griffin.apache.org/data/streaming/ 一. 概述 数据
深入浅出理解 Spark：环境部署与工作原理
腾讯技术工程
12-20 1367
一、Spark 概述Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。Spark 支持多种编程语言...
大数据主流开源计算框架
软件生命周期中的攻防博弈
05-23 1829
大数据的存储常用HDFS（大数据存储的事实标准），计算分析用Spark（一站式大数据计算的事实标准），集群中的资源管理用Yarn或mesos。 本文主要内容如题，适合有一定基础的人查看（关于大数据big data是什么，由何而来，指导思想、3V~5V特性，环境搭建、挖掘分析及编程等，本文不涉及）,，有些描述可能不是很准确，欢迎大家一起讨论交流。 目录 1. 大数据计算的分类 ...
Spark中文文档翻译3.1.1-Spark RDD Guide--概览和初始化
不管多累生活也要精致
04-22 413
如果觉得内容不错，别忘记一键三连哦！！！
spark-2.4.0-bin-hadoop2.7
01-17
spark-2.4.0-bin-hadoop2.7
编程指南快速入门 - Spark 2.4.0文档.pdf
12-02
编程指南快速入门 - Spark 2.4.0文档.
spark2官方中文文档
11-22
spark2.0官方文档。欢迎下载学习
Spark 2.0.2 Spark 2.2 中文文档 本资源为网页，不是PDF
12-07
本资源为网页，不是PDF Apache Spark 2.0.2 中文文档 Spark 概述 编程指南 快速入门 Spark 编程指南 概述 Spark 依赖 Spark 的初始化 Shell 的使用 弹性分布式数据集（RDDS） 并行集合 外部数据集 RDD 操作 RDD 持久化 共享变量 Broadcast Variables （广播变量） Accumulators （累加器） 部署应用到集群中 使用 Java / Scala 运行 spark Jobs 单元测试 Spark 1.0 版本前的应用程序迁移 下一步 Spark Streaming Spark Streaming 概述 一个简单的示例 基本概念 依赖 初始化 StreamingContext Discretized Streams（DStreams）（离散化流） Input DStreams 和 Receivers DStreams 上的 Transformations（转换） DStreams 上的输出操作 DataFrame 和 SQL 操作 MLlib 操作 缓存 / 持久化 CheckPointing 累加器和广播变量 应用程序部署 监控应用程序 性能 降低批处理的时间 设置合理的批处理间隔 内存 容错语义 迁移指南（从 0.9.1 或者更低版本至 1.x 版本） 快速跳转 Kafka 集成指南 DataFrames，Datasets 和 SQL Spark SQL 概述 SQL Datasets 和 DataFrames Spark SQL 入门指南 起始点 : SparkSession 创建 DataFrame 无类型 Dataset 操作（aka DataFrame 操作） 以编程的方式运行 SQL 查询 创建 Dataset RDD 的互操作性 数据源 通用的 Load/Save 函数 Parquet文件 JSON Datasets Hive 表 JDBC 连接其它数据库 故障排除 性能调优 缓存数据到内存 其它配置选项 分布式 SQL引擎 运行 Thrift JDBC/ODBC 运行 Spark SQL CLI 迁移指南 从 Spark SQL 1.6 升级到 2.0 从 Spark SQL 1.5 升级到 1.6 从 Spark SQL 1.4 升级到 1.5 从 Spark SQL 1.3 升级到 1.4 从 Spark SQL 1.0~1.2 升级到 1.3 兼容 Apache Hive 参考 数据类型 NaN 语义 Structured Streaming MLlib（机器学习） 机器学习库（MLlib）指南 ML Pipelines（ML管道） Extracting, transforming and selecting features（特征的提取，转换和选择） Classification and regression（分类和回归） Clustering（聚类） Collaborative Filtering（协同过滤） ML Tuning: model selection and hyperparameter tuning（ML调优：模型选择和超参数调整） Advanced topics（高级主题） MLlib：基于RDD的API Data Types - RDD-based API（数据类型） Basic Statistics - RDD-based API（基本统计） Classification and Regression - RDD-based API（分类和回归） Collaborative Filtering - RDD-based API（协同过滤） Clustering - RDD-based API（聚类 - 基于RDD的API） Dimensionality Reduction - RDD-based API（降维） Feature Extraction and Transformation - RDD-based API（特征的提取和转换） Frequent Pattern Mining - RDD-based API（频繁模式挖掘） Evaluation metrics - RDD-based API（评估指标） PMML model export - RDD-based API（PMML模型导出） Optimization - RDD-based API（最） GraphX（图形处理） Spark R 部署 集群模式概述 提交应用 Spark Standalone 模式 Spark on Mesos Spark on YARN Spark on YARN 上运行 准备 Spark on YARN 配置 调试应用 Spark 属性 重要提示 在一个安全的集群中运行 用 Apache Oozie 来运行应用程序 Kerberos 故障排查 Spark 配置 Spark 监控 指南 作业调度 Spark 安全 硬件配置 构建 Spark
Apache Spark 2.0.2 官方中文手册
07-28
Apache Spark 2.0.2 官方中文手册
Spark 官方文档汇总
weixin_45886938的博客
05-12 673
以下文档点击即可进入 Spark 3.2.1 官方文档 Spark 3.2.0 官方文档 Spark 3.1.3 官方文档 Spark 3.1.2 官方文档 Spark 3.1.1 官方文档 Spark 3.0.3官方文档 Spark 3.0.2 官方文档 Spark 3.0.1 官方文档
Spark中文文档翻译3.1.1-Spark SQL Guide--Spark SQL, DataFrames and Datasets Guide
不管多累生活也要精致
04-21 254
Spark SQL, DataFrames and Datasets Guide Spark SQL是用于结构化数据处理的Spark模块。 与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。 在内部，Spark SQL使用这些额外的信息来执行额外的优化。 与Spark SQL交互的方法有多种，包括SQL和Dataset API。 计算结果时，将使用相同的执行引擎，而与要用来表达计算的API /语言无关。 这种统一意味着开发人员可以轻
Spark SQL 官方文档-中文翻译
bug在左，生活在右
07-06 912
Spark SQL 官方文档-中文翻译
Spark-2.4.5官方文档说明（一）
astra_zhao的专栏
02-25 1083
具体文字请自己阅读 https://spark.apache.org/docs/latest/index.html 注意几点： 1.先安装并解压spark-2.4.5-bin-hadoop2.7.tgz文件，使用命令#>tar -xzvf 文件名进行解压。在看后续的程序指南（Programming Guides） Where to Go from Here Programming ...
Apache Spark 2.4.3 版本发布与Hadoop 2.7兼容性
资源摘要信息:"Apache Spark 2.4.3 版本二进制文件集，适用于 Hadoop 2.7 环境" Apache Spark 是一个快速、通用的分布式数据处理引擎，专为大规模数据处理而设计，它拥有高效的计算速度、易用的API和高度的可扩展性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值