Spark汉化中暗藏的资源：spark.properties

最新推荐文章于 2022-03-25 15:21:33 发布
最新推荐文章于 2022-03-25 15:21:33 发布 · 200 阅读 · 0
文章标签：

#大数据

本文介绍如何对Spark进行汉化操作，特别关注不在spark_i18n.properties文件中的文本，例如登录错误信息。通过复制并修改spark.properties文件为spark_zh_CN.properties来实现中文环境的支持。
一般来说都是汉化spark_i18n.properties，但是有一些文字还是不在那里，比如登录错误信息。

是由另一个资源文件来决定的：spark.properties，这个文件拷贝一份，改名为spark_zh_CN.properties，就对应于中文环境。

不过里面几乎只有很少量的需要汉化。
十：WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,解决案例
weizhonggui的博客
12-25 7527
在spark on yarn 上提交任务是，报错如下： 这是Spark的一个优化点： WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. INFO yarn.Client: Uploading re...
spark：报错com.esotericsoftware.kryo.KryoException: Buffer underflow.
啥也不会的博客
09-07 6379
场景 spark-sql跑一个较大的任务（几亿条数据），数据落盘时报错： com.esotericsoftware.kryo.KryoException: Buffer underflow. 探索 查看抛出这个报错的源码：https://github.com/apache/spark/blob/ebdf41dd698ce138d07f63b1fa3ffbcc392e7fff/core/src/main/scala/org/apache/spark/serializer/KryoSerialize
修改spark install4j配置文件使得安装程序语言为中文(使得Spark安装程序过程为中文)...
weixin_30484247的博客
05-21 311
http://blog.csdn.net/tyj1982/article/details/6686546 在build/installer目录下，打开spark.install4j文件，做如下修改 <languages skipLanguageSelection="true"> <principalLanguage id="zh_CN", cu...
Sparkweb汉化版和英文版
11-16
有Sparkweb的汉化版和英文版，版本颜色分为灰色和橙色，找了好久才找到的！
spark api之一：Spark官方文档 - 中文翻译
weixin_34375251的博客
04-25 1090
转载请注明出处：http://www.cnblogs.com/BYRans/ 1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell) 4 弹性分布式数据集(RDDs) ...
spark 中文
bigdatafj的博客
01-19 457
http://spark.apachecn.org/#/
OpenFire的客户端Spark的中文汉化包
squirrelme的专栏
06-25 1万+
官方上Spark没有简体中文的汉化包，给广大的聊友带来了不便，作者制作了其的汉化包,,供大家下载，技术支持： 肥龙龙 http://blog.csdn.net/expendable松鼠   http://blog.csdn.net/squirrelme 具体的技术文章，请大家参考上面2个BLOG，汉化包请大家同时下载下面2个文件，作者做了分割压缩。并且，汉化包的WinRAR解密密码请需
【Spark】项目导入报错：java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product；)V
懂得一千零一种,赋予你失败的方法！
03-25 4135
报错 Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at org.apache.spark.SparkConf$DeprecatedConfig.<init>(SparkConf.scala:809) at org.apache.spark.SparkConf$.<init>(SparkConf.scala:642) at org.a.
spark报错:java.lang.ClassNotFoundException: org.apache.parquet.Log
善皮之的博客
09-04 4322
spark启动报错:java.lang.ClassNotFoundException: org.apache.parquet.Log 错误的全部描述如下: java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.execut...
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndSer
热门推荐
阿拉修
03-24 1万+
报错如下： : org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed 4 times, most recent failure: Lost task 0.3 in stage 3.0 (TID 19, 192.168.10.103, executor 1): org.apache.spark.SparkException: Error from python worker.
电路模拟实验软件bright spark
08-20
著名电路模拟实验软件，可作为电子电路基本教学实验用途。
Bright Spark 1.10
03-26
Bright Spark 1.10是一个可视化的电子教育用的软件，可简单仿真基本的三极管电路，电容电路，开关电路。
提供一下sparkweb的汉化文件
棋牌游戏
03-23 158
只要两个文件就行 SparkWebCore/locale/cn.properties SparkWebCore/com/jivesoftware/spark/managers/Localizator.as 解压后覆盖同步文件即可。 cn.properties是utf-8编码。 还可以实现多语言化，不过这里就懒得搞了。 windows下编译sparkweb一定要注...
Spark Configuration
逆流的博客
10-19 1698
Spark Properties Spark properties能够控制大部分的程序设置，并且可以为每个程序分开配置。properties能够通过SparkConf直接设置然后传入到SparkContext。SparkConf允许用户配置一些公用属性（例如：master URL和程序名称），也允许使用set()方法，传入key-value键值对来设置。例如，我们初始化一个拥有两个线程的应用程序
spark官方文档中文版_spark系列：Spark Streaming官方文档译文
weixin_35433770的博客
01-25 606
概述spark stream是对spark core api的扩展；对于spark core不太了解的请阅读：spark系列：spark core 数据交互技术点(数据模型)。所以本质上是通过批处理来模拟流处理。spark stream的流数据源可以来自Kafka, Flume, Kinesis, 或 TCP sockets甚至是文件。spark stream对于流数据可以做很多复杂的处理(只有想...
Spark中文手册11：Spark 配置指南
wanmeilingdu
05-09 959
问题导读 1.Spark可以在哪三个地方配置系统？ 2.如何实现动态加载Spark属性？ Spark可以在三个地方配置系统: Spark属性控制大部分的应用参数。 这些属性可以通过SparkConf对象, 或者Java系统属性. 环境变量可以为每台机器配置，比如IP地址， 通过每个节点上的conf/spark-env.sh脚本. 可同通过log4
Spark官方文档 - 中文翻译
bug在左，生活在右
07-06 1723
Spark官方文档 - 中文翻译
修改spark install4j配置文件使得安装程序语言为中文
不停游泳的鱼
08-14 4065
在build/installer目录下，打开spark.install4j文件，做如下修改  true">       zh_CN", customLocalizationFile="" /> 在mediaSets段下修改默认语言为中文     <wi
这是spark-defaults：spark.master spark://spark-master:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs://namenode:9000/spark-logs spark.hadoop.fs.defaultFS hdfs://namenode:9000 spark.sql.warehouse.dir hdfs://namenode:9000/user/hive/warehouse spark.driver.extraJavaOptions -Dlog4j.configuration=file:/opt/bitnami/spark/conf/log4j2.properties spark.executor.extraJavaOptions -Dlog4j.configuration=file:/opt/bitnami/spark/conf/log4j2.properties
最新发布
06-29
<think>我们正在使用Bitnami的Spark镜像（版本3.4.1）来部署Spark集群。用户已经提供了docker-compose配置，并询问是否需要修改spark-defaults.conf文件以确保正常运行。根据用户提供的docker-compose配置，我们注意到：1.挂载了本地目录`./config/spark`到容器的`/opt/bitnami/spark/conf`，这意味着用户可以将自定义配置文件放在`./config/spark`目录下，容器启动时会覆盖默认配置。2.环境变量中设置了一些安全相关的选项（如关闭认证和加密）以及端口设置。但是，Bitnami镜像的默认配置可能并不适合所有场景，因此通常需要根据实际需求调整`spark-defaults.conf`。以下是一些常见的调整点： ###一、必须调整的配置（根据经验） 1. **内存配置**：默认的内存配置通常较小，容易导致OOM（内存溢出）。建议根据可用内存调整：```propertiesspark.driver.memory2gspark.executor.memory4g```注意：在docker-compose中，worker节点的环境变量已经设置了`SPARK_WORKER_MEMORY=4g`，这相当于设置每个worker的总内存。但每个executor的内存还需要在`spark-defaults.conf`中通过`spark.executor.memory`指定。2.**Python配置**：如果使用PySpark，需要指定Python路径：```propertiesspark.pyspark.pythonpython3```3.**网络配置**：在容器环境中，需要设置正确的master地址。虽然docker-compose中通过环境变量`SPARK_MASTER_URL=spark://spark-master:7077`指定了worker连接master的地址，但master自身也需要绑定到正确的网络接口。在master的环境变量中已经设置了`SPARK_MASTER_HOST=0.0.0.0`，这是正确的，因为需要监听所有接口。 ###二、可选调整的配置1.**动态资源分配**：如果希望Spark动态调整executor数量，可以启用：```propertiesspark.dynamicAllocation.enabledtruespark.dynamicAllocation.initialExecutors1spark.dynamicAllocation.minExecutors1spark.dynamicAllocation.maxExecutors4``` 2. **Shuffle服务**：动态资源分配需要启用shuffle服务：```propertiesspark.shuffle.service.enabledtrue``` 3. **日志级别**：减少日志输出，将日志级别调整为WARN或ERROR：```propertiesspark.logConftruelog4j.rootCategoryWARN,console```###三、Bitnami特定配置Bitnami镜像在启动时会加载`/opt/bitnami/spark/conf`下的配置文件，因此我们只需要将修改后的配置文件放入挂载目录`./config/spark`即可。###四、验证配置1.在master和worker容器中，检查`/opt/bitnami/spark/conf/spark-defaults.conf`文件是否存在且内容正确。 2.通过SparkWebUI（master:8080）查看环境选项卡，确认配置生效。 ###结论是的，通常需要根据实际需求调整`spark-defaults.conf`。建议至少调整内存配置和Python配置（如果使用PySpark）。其他配置可根据集群规模和任务需求调整。 §§相关问题§§1.如何为Spark配置动态资源分配（Dynamic Allocation）？2.在Docker容器中运行Spark，有哪些网络配置需要注意？3.如何调整Spark的日志级别以减少日志输出？</think>根据您的 Docker Compose 配置和 Bitnami Spark 镜像特性，**spark-defaults.conf 文件需要进行关键调整**以确保集群正常运行。以下是必须修改的核心配置项： ### 一、必须修改的配置项 ```properties # 内存资源配置（避免 OOM） spark.driver.memory=2g spark.executor.memory=4g spark.memory.fraction=0.8 # 网络配置（容器间通信必需） spark.driver.host=spark-master spark.bindAddress=0.0.0.0 # PySpark 兼容性（Bitnami 镜像必需） spark.pyspark.python=python3 spark.sql.execution.arrow.pyspark.enabled=true # 日志优化（减少磁盘占用） spark.eventLog.enabled=false log4j.appender.console.threshold=ERROR ``` ### 二、配置验证方法 1. **挂载配置文件**：确保在 `./config/spark` 目录下创建 `spark-defaults.conf` 2. **容器内检查**： ```bash docker exec spark-master cat /opt/bitnami/spark/conf/spark-defaults.conf ``` 3. **Web UI 确认**：访问 `http://localhost:8080/environment/` 查看生效配置 ### 三、Bitnami 特定注意事项 1. **Python 路径问题**：镜像默认使用 `python2`，必须显式设置为 `python3`[^1] 2. **内存分配**：环境变量 `SPARK_WORKER_MEMORY=4g` 需与 `spark.executor.memory` 匹配 3. **端口冲突**：若需修改 Web UI 端口，需同时调整： ```properties spark.master.web.port=8081 spark.worker.web.port=8082 ``` ### 四、推荐完整配置示例 ```properties # 核心参数 spark.master spark://spark-master:7077 spark.driver.memory 2g spark.executor.memory 4g spark.executor.cores 2 # 网络优化 spark.driver.blockManager.port 7078 spark.blockManager.port 7079 # 性能调优 spark.sql.shuffle.partitions 200 spark.default.parallelism 100 # 安全配置（与 docker-compose 一致） spark.authenticate false spark.ssl.enabled false ``` > **关键提醒**：Bitnami 镜像的默认配置在 3.4.0+ 版本存在 PySpark 兼容性问题[^1]，必须通过配置覆盖解决。资源参数需根据集群硬件调整，否则易触发 Executor KILLED(143) 错误。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值