qq_34969081的博客

背景因成本影响，公司想从高价格的阿里云转到价格较低的金山云上，让我们做一下对金山云上自带的spark_on_yarn 进行压力测试。经过多方讨论，最终选择sparkbench+ambari的方案。方案将采用梯度测试法，对集群的磁盘I/0,网络I/O,内存使用率，cpu使用率四个纬度测试。 1.10亿条24个属性kmeans的向量数据创建、数据分析。 2.24亿条24个属性kme...

最近写spark代码的时候总是把rdd转dataset或者dataframe,再此将转换的途径总结一下rdd转dataset第一种，使用隐式函数toDFimport spark.implicits._ //spark是你实例化的sparksession,rdd1.toDF()/或者 toDF("a","b","c") //a b c分别表示列名note: 如果...

运行环境spark-shellval p=spark.read.json("file:///root/spark-2.1.1-bin-hadoop2.7/examples/src/main/resources/people.json")p.show方差和标准差 1. 求age平均值import spark.sqlval avgvule= sql("select avg(...

前言本节描述通过spark-structstreaming将结果结果数据存入hbase正文object testWriteResultToHbase{def main(args:Array[String]){ val kafkaservers=args(0) val topic=args(1) val zookeeperservers=args(2) v

前言主要讲述 StructStreaming将计算结构写入到文本文件正文package org.sun.IndustryBigDataAnalyticsPartformimport org.apache.spark.sql.SparkSessionimport java.io._import org.apache.spark.sql.ForeachWriterimport

spark:aggregate /** * Aggregate the elements of each partition, and then the results for all the partitions, using * given combine functions and a neutral "zero value". This function can return a

前言： spark的提交作业的原生态方式，使用spark-submit.sh脚本。使用此脚本有两个缺点： 1. spark支持提交到standalone、mesos、yarn上面。standalone和mesos是粗力度的资源调度器，yarn是细粒度。所以org.apache.spark.deploy.sparksubmit类只支持standalone和mesos的作业提交、停止、查询，并且提供

作业的调度是spark一个关键组件。目的是保证作业能够准确的下发到各个数据node。 package.scala Spark’s scheduling components. This includes the org.apache.spark.scheduler.DAGScheduler and lower level org.apache.spark.scheduler.Task

任何架构都是由需求分析得来，而spark是由怎么样的需求分析而来的呢？需求：怎样快速计算大数据 解决方案：将大量的数据分成很多块，让不同的计算机进行计算，然后再汇总起来，这就是简单的MR计算模型。 但是hadoop的MR计算模型，太单一，而且重度依赖IO， 新的需求：需求又来了，怎样又让它快，又让它计算模型复杂呢？需求分析： 1. 非功能性需求：计算快 什么导致MR 计算模型慢呢：

一、问题描述： 其中一个异常关键字： “bad substitution”二、分析问题：然后在stackoverflow发现相同提问，文中提到是因为没有制定hdp版本，我才明白spark-bin-hadoop，编译的是原生态的hadoop。三、解决方案： 英文应该都懂，我就不用翻译了。四、总结：正常情况遇见问题，不应该直接在网上找答案，诊断流程：从log或者终端中进行排查，如果不行就使用debu

背景： 基于流的结构化处理，越来越成为ETL的重要处理手段，使用SQL处理流数据优点可以降低数据处理的编程难度，而且能够工程化的动态配置处理格式。基于struct_streaming处理pv的简单案例数据源：kafka的topic input_std1_npanther中 输入格式：json{ "event_siteid":"kf_3004", "event_...