
Spark
文章平均质量分 60
格赚
程序员一站式创业社区,公众号同名。
展开
-
记spark过程中Scala多线程小问题
这次更改ThriftServer源码,加了些业务,中间遇到这样一个问题,异步提交任务的时候想做成多线程,刚开始是使用的scala的Actor,传递了SQLContext和sql,发现每次sparkSessionId在一直变化,每次提交和触发Action之后产生的sessionId都不一致,这是怎么回事,后来才发现是多线程异步的问题,传递sqlContext在线程那边执行任务的时候会重新触发一个会话...原创 2018-11-03 09:54:54 · 2082 阅读 · 0 评论 -
SparkRDMA基于BigDataBench 性能对比测试
测试要求:三台物理机内存:64 G查看物理CPU个数:2查看每个物理CPU中core的个数(即核数) : 12 一、准备测试环境1.下载软件并安装 BigDataBench_V4.0_Spark.tar.gz http://prof.ict.ac.cn/download.html#Full_download Apache Spark 集群 Hadoo...原创 2018-12-29 17:14:16 · 1059 阅读 · 0 评论