spark.end()

最新推荐文章于 2024-08-08 07:22:27 发布
最新推荐文章于 2024-08-08 07:22:27 发布
阅读量988 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 小结 错误笔记 front-end_jQuery front-end_javaScript JSP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_26684469/article/details/78650886
本文探讨了一种特殊情况，在使用spark.end()方法计算文件MD5值时，页面显示正确结果，而console却始终输出空字符串对应的MD5值。通过调试发现spark.end()行为类似“剪切”，一旦使用便无法重复获取同一文件的MD5值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

box.innerText='MD5 hash:'+spark.end(); 
            console.info("computed hash", spark.end());

两行代码：

第一行页面显示了正确的md5值：

如c46c2ea86afa25c345293454e867356d

但console中值为d41d8cd98f00b204e9800998ecf8427e

不管上传什么文件，console值都只为d41d8cd98f00b204e9800998ecf8427e

经查：d41d8cd98f00b204e9800998ecf8427e是空字符串的意思

在前面加个alert 提示的也是d41d8cd98f00b204e9800998ecf8427e

为什么会出现这种情况？

多番调试发现：

spark.end()类似“剪切”，只能粘贴一次！

粘贴之后这个spark.end()就为空了

Spark SQL 中org.apache.spark.sql.functions归纳
xiaohu21的博客
10-06 2585
Spark SQL 中org.apache.spark.sql.functions归纳 注意，这里使用的是scala 2.12.12，spark版本是最新的3.0.1版本 1. Sort functions /** * Returns a sort expression based on ascending order of the column. * {{{ * df.sort(asc("dept"), desc("age")) * }}} * * @group s
spark.read.option(jdbc)参数
卡奥斯道的博客
10-25 5756
Property Name Meaning url The JDBC URL to connect to. The source-specific connection properties may be specified in the URL. e.g.,jdbc:postgresql://localhost/test?user=fred&password=secre...
赋值操作后，对象的引用发生变化
jiadong
07-19 330
// 此用例来源于Thinking in java class Tank{ int level; String msg; Tmp tmp; @Override public String toString() { return "level = "+level+" msg="+msg+" tmp="+tmp; } } class Tmp{ private Stri...
files文件分片上传+计算MD5值(sparkMD5)，使用file.slice(start, end)方法
我的米饭
12-21 8308
因为要跟后端交互，上传前要拿到文件的已上传信息，所以要给后端传MD5码，这个需要先计算出文件的MD5码，用 spark-md5 插件来计算 一、计算出文件的MD5值 要配合js的 FileReader 函数来使用 SparkMD5 import SparkMD5 from 'spark-md5' // 计算MD5 getMD5(file, fileListID) { // 使用sparkMD5的ArrayBuffer类，读取二进制文件 const spark = new SparkMD5.Arr
Spark-md5 详解
热门推荐
人与人之间最小的差别是智商，最大的差别是坚持。
06-16 1万+
Spark-md5是一个十分优秀的MD5计算库，拥有高效、准确、方便的特点
spark.md5.js获取文件的md5值
MFWSCQ的博客
12-10 4946
需求：需要获取上传文件整体的md5值，然后传给后端，所以采用spark.md5.js 代码： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</titl
大文件切片上传和断点续传
tutou_girl的博客
07-15 1226
大文件切片上传和断点上传
1.集群的CDH版本为6.3.2，内置spark引擎版本约为spark2.4.0，目前hive默认的查询引擎为mr，且可供查询时临时切换的引擎只有spark； 3.该集群有3台namenode、51台datanode节点，单台namenode配置：64C256G16T，单台datanode配置：64C512G96T； 4.在运行以上sql任务时，集群同时还运行其他任务，期间Yarn内存总使用率约为50%，Yarn内核总使用率约为60%。 5.hive sql脚本（已优化）如下： -- 基础优化 SET hive.optimize.ppd=true; SET hive.execution.engine=spark; SET spark.master=yarn; SET spark.submit.deployMode=cluster; -- 资源分配（根据集群调整） -- 动态分配方案 SET spark.dynamicAllocation.enabled=true; SET spark.dynamicAllocation.minExecutors=25; SET spark.dynamicAllocation.maxExecutors=70; SET spark.dynamicAllocation.executorIdleTimeout=60s; SET spark.dynamicAllocation.schedulerBacklogTimeout=30s; -- 资源分配设置 SET spark.executor.memory=16g; SET spark.executor.cores=8; SET spark.driver.memory=10g; SET spark.yarn.executor.memoryOverhead=6g; -- 堆外内存（关键防OOM），提升shuffle安全边际 -- 性能优化参数 SET spark.sql.adaptive.enabled=true; -- 启用AQE,自适应优化执行计划 SET spark.sql.adaptive.coalescePartitions.enabled=true; SET spark.sql.adaptive.advisoryPartitionSizeInBytes=256000000; -- 256MB SET spark.sql.adaptive.shuffle.targetPostShuffleInputSize=268435456; -- 256MB SET spark.speculation=true; SET spark.sql.parquet.enableVectorizedReader=true; -- 加速Parquet -- 倾斜优化 SET spark.sql.adaptive.skewedJoin.enabled=true; -- 倾斜处理 SET spark.sql.adaptive.skewedPartitionFactor=3; SET spark.sql.adaptive.skewedPartitionThresholdInBytes=256MB; SET spark.sql.aggregate.ignoreInvalidSalt=true; --启用谓词下推 SET spark.sql.parquet.filterPushdown=true; -- Shuffle优化 SET spark.sql.shuffle.partitions=1500; SET spark.shuffle.file.buffer.size=1mb; SET spark.shuffle.compress=true; SET spark.shuffle.spill.compress=true; -- 内存与GC优化 SET spark.memory.fraction=0.8; SET spark.memory.storageFraction=0.5; SET spark.executor.extraJavaOptions=" -XX:+UseG1GC -XX:InitiatingHeapOccupancyPercent=35 -XX:ConcGCThreads=8 -XX:G1HeapRegionSize=32m -XX:+UnlockExperimentalVMOptions -XX:G1NewSizePercent=20 -XX:G1MaxNewSizePercent=50"; -- Off-Heap内存优化 SET spark.memory.offHeap.enabled=true; SET spark.memory.offHeap.size=2g; -- 网络超时设置 SET spark.network.timeout=300s; SET spark.sql.broadcastTimeout=1800; -- 广播超时 -- 预计算日期参数（避免每行重复计算） SET hivevar:start_dt=regexp_replace(add_months('${etldate}',-3),'-',''); SET hivevar:end_dt=regexp_replace('${etldate}','-',''); SET hivevar:total_days=datediff('${etldate}',add_months('${etldate}',-3)); -- 创建新表 CREATE TABLE dws.B STORED AS PARQUET AS SELECT cust, SUM(nvl(bal, 0)) / ${total_days} AS avg_bal -- 使用预计算常量 FROM dwd.A WHERE dt <= '${end_dt}' AND dt > '${start_dt}' -- 直接使用预计算的分区值 AND cust IS NOT NULL AND cust <> '' AND ( -- 优化OR条件结构 (type_cd = 'D' AND stat_cd IN ('2','5','6')) OR (type_cd = 'W' AND stat_cd <> '4') OR (type_cd NOT IN ('D','W')) GROUP BY cust; 6.上述sql中表A分区字段为dt，格式为yyyyMMdd的字符串，表A为每日更新的全量数据，且数据量较大，单分区上亿，表A为parquet格式，参数etldate为跑批日期，格式为yyyy-MM-dd字符串； 对于以上hive sql脚本，假设表A数据不存在严重倾斜，但也不是十分均匀。现在我设置的运行参数如上所述，请为我详细分析： 以上参数设置是否合理？ 参数间是否有冲突？ 是否有多余的、可以省略设置的参数？ 是否有遗漏未设置的参数？ 以我的集群当前的运行情况和资源占用情况，以上参数对资源分配是否合理？
最新发布
07-29
我们正在分析CDH6.3.2环境中Hive on Spark2.4的参数配置。根据用户需求，我们需要检查参数配置是否存在冲突、冗余或遗漏，并评估资源分配是否合理。同时，我们参考了提供的引用内容，其中涉及了版本兼容性、配置冲突...
//获取hash地址 hash (chunks) { return new Promise(resolve => { const spark = new MD5(); this._read(0,chunks,spark,resolve); }) }, //递归增量计算hash地址 _read(i,chunks,spark,resolve) { if (i >= chunks.length) { resolve(spark.end()); return ; } const blob = chunks[i]; const reader = new FileReader(); reader.onload = e => { const bytes = e.target.result; // 读取到的字节数 spark.append(bytes); this._read(i+1,chunks,spark,resolve); } reader.readAsArrayBuffer(blob); },这个是我计算hash地址,请改成你说的其他hash算法,避免数据变动不大哈希值重复的问题,还要附带前端js的下载方式
06-10
resolve(spark.end()); return; } const blob = chunks[i]; const reader = new FileReader(); reader.onload = e => { const bytes = e.target.result; // 读取到的字节数 spark.append(bytes); this._...
package com.educoder.bigData.sparksql4; import java.util.Arrays; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SaveMode; import org.apache.spark.sql.SparkSession; public class Case4 { public static void case4(TableVo1 vo) { SparkSession spark = SparkSession.builder().appName("test1").master("local").getOrCreate(); /********* Begin *********/ /********* End *********/ } }
05-09
### 使用Java实现Spark SQL中的数据操作 #### RDD 转换为 Dataset 在 Spark SQL 中，`RDD` 可以通过指定模式的方式转换为 `Dataset<Row>`。以下是具体的代码实现： ```java import org.apache.spark.sql.Dataset; ...
Spark内核解析之五：Spark Shuffle解析
SunnyRivers
11-05 853
Shuffle的核心要点 1. ShuffleMapStage与ResultStage 在划分stage时，最后一个stage称为finalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。 ShuffleMapStage的结束伴随着shuffle文件的写磁盘。 ResultStage基本上对应代码中的action算子，即将一个函数应...
Spark-MD5获取文件MD5的使用
AppleEngineer
08-24 1万+
function calculate(file,callBack){ var fileReader = new FileReader(), blobSlice = File.prototype.mozSlice || File.prototype.webkitSlice || File.prototype.slice, chunkSize = 2
基于js-spark-md5前端js类库，快速获取文件Md5值
weixin_30783629的博客
06-13 853
js-spark-md5是歪果仁开发的东西，有点多，但是我们只要一个js文件即可，具体类包我存在自己的oschina上，下载地址：https://git.oschina.net/jianqingwang/js-spark-md5 js-spark-md5是做什么的？ js-spark-md5是号称全宇宙最快的前端类包，可以无需上传文件就快速获取本地文件md5. 可能你觉得这没什么，但是，...
vue3利用spark-md5计算文件的md5值
qq_37967853的博客
11-01 4216
vue3利用spark-md5计算文件的md5值
Spark成长之路(5)-消息队列
doctorq
07-07 2129
参考文章:Spark分布式消息发送流程 监听器模式 volatile 因为之前被这个消息队列坑过(stage夯住原因分析)，所以现在研究源码，先从它下手，解答一下我这么久的疑惑。继承关系ListenerBus->SparkListenerBus->LiveListenerBus。原始基类为ListenerBus。运用的设计模式为监听器模式。ListenerBusspark包中私有特质，继
搭建Spark所遇过的坑
等风等雨等你
12-07 1039
原文链接：https://mp.csdn.net/postedit/82423831 出现此类问题有很多种, 当时遇到这问题的因为是在spark未改动的情况下, 更换了Hive的版本导致版本不对出现了此问题, 一.经验 Spark Streaming包含三种计算模式：nonstate .stateful .window kafka可通过配置文件使用自带的zookeeper集群 Spark...
Spark-MD5获取文件MD5的hash标识
鹿歪歪酱
10-23 5664
原文链接：https://blog.csdn.net/anan890624/article/details/52296162 先自己下载 Spark-MD5 npm install spark-md5 function calculate(file,callBack){ /* * file 选取的文件 * callBack 回调函数可以返回获取的MD5 */ var...
【亲测免费】 SparkMD5 使用教程
gitblog_01118的博客
08-08 1776
SparkMD5 使用教程 项目介绍 SparkMD5 是一个快速的 MD5 算法实现，基于 JKM md5 库，是当前最快的 MD5 算法之一。该库特别适合浏览器环境使用，尽管在 Node.js 环境中可能存在更快的实现。SparkMD5 支持增量 MD5 计算，这对于处理大文件非常有用，因为它可以分块处理文件，从而降低内存使用。 项目快速启动 安装 首先，你需要通过 npm 安装 SparkM...
spark-md5根据文件内容生成hash
wade3po的博客
11-24 4226
spark-md5根据文件内容生成hash
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值