- 博客(3)
- 收藏
- 关注
RSS订阅原创 SPARKSQL读SPARK表
SPARK2.0.2版本1. 读取SPARK表创建sparkSession,执行SQL，每行记录输出Object[]，再对每行记录做转换，增加时间戳public RDD> getSourceRDD(PipelineOptions pipelineOptions, SparkContext sparkContext) { SparkSession sparkSes
2017-09-25 19:07:04
713
原创 SPARK-SUBMIT命令
1. 并发64，运行基于APACHE-BEAM开发的程序spark-submit --total-executor-cores 64 --executor-cores 8 --executor-memory 20g --class test.ktrTest beam-data-integration-V2.0.0.jar ktrpath=/opt/ZDH/parcels/lib/spa
2017-09-25 18:56:48
917
原创 APACHE BEAM2.0.0版本如何支持SPARK2.0.2
APACHE BEAM2.0.0支持的是SPARK1.6版本，如果要支持SPARK2.0.2版本需要做部分改造改造内容一：废弃原有的Accumulator接口，实现 AccumulatorV2需要实现public class NamedAccumulatorV2 extends AccumulatorV2 public class MetricsAccumlatorV2 ext
2017-09-25 18:50:11
514
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人