zhuiqiuuuu的博客

SET hive.exec.dynamic.partition = true;SET hive.exec.dynamic.partition.mode = nonstrict;SET mapreduce.job.running.reduce.limit = 800;SET mapreduce.job.running.map.limit = 1000;SET mapreduce.job.reduce.slowstart.completedmaps = 1.0;SET mapred.output.co

set mapreduce.map.memory.mb=6144;set mapreduce.map.java.opts=-Xmx6144M;set mapreduce.map.cpu.vcores = 4;set mapreduce.reduce.memory.mb=8192;set mapreduce.reduce.java.opts=-Xmx6144M;set mapreduce.reduce.cpu.vcores = 8;

转载https://blog.youkuaiyun.com/mys_35088/article/details/80864092?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.add_param_isCf&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.add.

例如有一张hive表叫做activity。cache表，数据放内存，数据被广播到Executor，broadcast，将数据由reduce side join 变map side join。效果都是查不多的，基本表达的都是一个意思。具体效果体现：读数据次数变小；df（dataframe）执行过一次就已经有值，不用重新执行前方获取df的过程。将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分...

一. 数据倾斜的现象1、spark中一个stage的执行时间受限于最后那个执行完的task，因此运行缓慢的任务会拖累整个程序的运行速度（分布式程序运行的速度是由最慢的那个task决定的）比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。　　2、原本能够正常执行的Spark作业，某天突然报出OOM（内存溢出）异常，观察异常栈...

https://blog.youkuaiyun.com/funfun0/article/details/77802590

 To be able to use window function you have to create a window first. Definition is pretty much the same as for normal SQL it means you can define either order, partition or both. First lets create ...

 spark架构spark任务的两种运行模式 spark submit --deploy cluster/client当为client模式时，本地提交时，driver程序在堡垒机上运行，所以堡垒机上能看到自己打印的一些日志；线上时，driver程序在客户端节点上执行。客户端节点的资源，决定了提交到集群的任务的并发数，一版为队列中状态的是在客户端节点上，执行中状态才是在集群上...

问题导读1. Spark On Yarn 下executor-memory 参数如何生效？2. Cluster 和 Client 模式中 内存开销的区别？3. 规整化因子是什么？综述  提交任务时，配置的executor-memory 的参数，设置为6g，结果实际运行中，占据的资源算下来，每个executor 使用的却接近7个g，被管理集群的同事找上门，逃。 那么，为何会配置的参数没有生效呢？...

问题导读1.为什么使用spark streaming？2.什么是StreamingContext？3.什么是DStream？spark streaming介绍 Spark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、witter、 ZeroMQ、Kinesis等源获取数据，也可以通过由 高...

问题导读1.DataFrame是什么？2.如何创建DataFrame?3.如何将普通RDD转变为DataFrame？4.如何使用DataFrame？5.在1.3.0中，提供了哪些完整的数据写入支持API？ 自2013年3月面世以来，Spark SQL已经成为除Spark Core以外最大的Spark组件。除了接过Shark的接力棒，继续为Spark用户提供高性能的SQL on Hadoop解...

----原语句（运行18min）    SELECT            bb.ip    FROM            (                    SELECT                            ip                  ,                            sum(click) click_num,            ...

一、cache和persist的区别昨天面试被问到了cache和persist区别，当时只记得是其中一个调用了另一个，但没有回答出二者的不同，所以回来后重新看了源码，算是弄清楚它们的区别了。cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。cache和persist的区别基于Spark 1.4.1 的源码，可以看到/** ...

http://blog.youkuaiyun.com/sparkexpert/article/details/51023375往一个dataframe新增某个列是很常见的事情。然而这个资料还是不多，很多都需要很多变换。而且一些字段可能还不太好添加。不过由于这回需要增加的列非常简单，倒也没有必要再用UDF函数去修改列。利用withColumn函数就能实现对da

如何在windows下安装配置pyspark notebook第一步：安装anacondaanaconda自带一系列科学计算包下载链接：http://pan.baidu.com/s/1b4jWlg 密码：fqq3接着配置环境变量：如我安装在D盘下   试一下命令行启动，确保ipython从anaconda启动 第二步：安装spark（需要提前安装

转载：http://blog.youkuaiyun.com/sparkexpert/article/details/51042970Spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。首先加载数据集，然后在提取数据集的前几行过程中

createGlobalTempView(name)Creates a global temporary view with this DataFrame.The lifetime of this temporary view is tied to this Spark application. throws TempTableAlreadyExistsException, if th

压缩相关配置spark.broadcast.compress默认值：true。 在发送广播变量之前是否压缩它。spark.io.compression.codec默认值：snappy。压缩诸如RDD分区、广播变量、shuffle输出等内部数据的编码解码器。默认情况下，Spark提供了三种选择：lz4, lzf和snappy。你也可以用完整的类名来制定

1.sql=""      insert overwrite table app.app_od_info partition(dt='{startT}')      select so_no,so_num      from table1"""spark.sql(sql)2.sql="""     select so_no,so_num,

摘要　　1.num-executors　　2.executor-memory　　3.executor-cores　　4.driver-memory　　5.spark.default.parallelism　　6.spark.storage.memoryFraction　　7.spark.shuffle.memoryFraction　　

1. spark编程模型Spark应用程序从编写到提交、执行、输出的整个过程如图2-5所示，图中描述的步骤如下。0）用户使用SparkContext提供的API（常用的有textFile、sequenceFile、runJob、stop等）编写Driver application程序。1）Cluster Manager：Spark的集群管理器，主要负责资源的分配与管理。集群管理

1、 agg(expers:column*) 返回dataframe类型 ，同数学计算求值df.agg(max("age"), avg("salary"))df.groupBy().agg(max("age"), avg("salary"))2、 agg(exprs: Map[String, String])  返回dataframe类型 ，同数学计算求值 map类型的df.a

hive > select product_id, concat_ws('_',collect_set(promotion_id)) as promotion_ids from product_promotion group by product_id;OK5112 960024_960025_960026_960027_9600285113 960043_960044_960045_960