qq_31910941的博客

文章目录概述现象和判定方式数据倾斜发生时的现象数据倾斜发生的原理如何定位导致数据倾斜的代码某个task执行特别慢的情况某个task莫名其妙内存溢出的情况查看导致数据倾斜的key的数据分布情况数据倾斜的解决方案解决方案一：使用Hive ETL预处理数据解决方案二：过滤少数导致倾斜的key解决方案三：提高shuffle操作的并行度解决方案四：两阶段聚合（局部聚合+全局聚合）解决方案五：将reduce join转为map join解决方案六：采样倾斜key并分拆join操作解决方案七：使用随机前缀和扩容RDD进行

文章目录概述Spark作业基本运行原理资源参数调优num-executorsexecutor-memoryexecutor-coresdriver-memoryspark.default.parallelismspark.storage.memoryFractionspark.shuffle.memoryFraction资源参数参考示例概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道

文章目录概述：原则一：避免创建重复的RDD原则二：尽可能复用同一个RDD原则三：对多次使用的RDD进行持久化Spark的持久化级别如何选择一种最合适的持久化策略原则四：尽量避免使用shuffle类算子原则五：使用map-side预聚合的shuffle操作什么是map-side预聚合：原则六：使用高性能的算子使用reduceByKey/aggregateByKey替代groupByKey使用mapPartitions替代普通map使用foreachPartitions替代foreach使用filter之后进行

spark几种shuffle过程的详细介绍，以及部分spark shuffle调优参数。

什么是空间数据空间数据(Spatial Data)空间数据又称几何数据，它用来表示物体的位置、形态、大小分布等各方面的信息，是对现实世界中存在的具有定位意义的事物和现象的定量描述。根据在计算机系统中对地图是对现实教想的存储组织、处理方法的不同，以及空间数据本身的几何特征，空间数据又可分为图形数据和图像数据。来源与类型空间数据来源和类型繁多，概括起来主要可以分为地图数据、影像数据、地形数据、属性数据和元数据。地图数据：这类数据主要来源于各种类型的普通地图和专题地图，这些地图的内容非常丰富。影

什么是Hudi?官网链接地址Apache Hudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。这两种原语分别是：Update/Delete Records (how do I change records in a table?) # 更新/删除记录：Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录，同时还提供写操作的事务保证。查询会处理最后一个提交的快照，并基于此输出结果

背景：最近客户现场使用华为提供的ARM-鲲鹏服务器集群，使用spark2.4.0，输出数据格式为parquet时，下游流程再使用该输出作为输入时出现报错，报错日志如下：Caused by: java.io.IOException: could not decode the dictionary for [IMSI] optional int64 IMSI at org.apache.spark.sql.execution.datasources.parquet.VectorizedColumnRea

官网文档参考地址：http://rocketmq.apache.org/docs/motivation/安装包下载地址：https://mirror.bit.edu.cn/apache/rocketmq/4.7.0/rocketmq-all-4.7.0-bin-release.zip https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.7.0/rocketmq-all-4.7.0-bin...

1，使用spark读取hive或者使用hive 命令行查询表，发现列名被默认变成了TableName_FileName解决办法：如果通过hive-clinet命令行查询，只想对当前回话生效，执行如下命令即可：> set hive.resultset.use.unique.column.names=false;通过 set hive.cli.print.header = tr...

为什么有Ozone对象存储比标准文件系统更容易构建和使用。 缩放对象库也更容易。 大多数大数据应用程序和框架（如Apache Spark，YARN和Hive）都可以在云端和本地运行，这使得在本地存储对象存储非常具有吸引力。众所周知，HDFS是大数据存储系统，并在业界得到了广泛的使用。但是无论大集群还是小集群其扩展性都受NN的限制，虽然HDFS可以通过Federation进行扩展，但是依然深受小...

1，用脚本从信任主机下发命令到多台主机（不复制文件只执行命令的情况下）：首先需要指定一台主机作为信任主机，这样从这台主机登录其他机器就不需要密码了。如何设置信任主机(以node1为例)？ssh-keygencat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 700 ~/.sshchmod 600 ~/.ssh...

机器学习 K近邻（K-Nearest-Neighbors）算法剖析一、 读懂该算法所具备的相关知识熟练掌握Python语言线性代数矩阵常见的基本运算欧几里得定律，计算矩阵中两点之间的距离。二、 生活案例-K近邻算法电影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在

进到kafka的Home目录启动zookeeper:.\bin\windows\zookeeper-server-start.bat config\zookeeper.properties停止zookeeper:.\bin\windows\zookeeper-server-stop.bat启动kafka：.\bin\windows\kafka-ser

大数据平台安装部署文档Ambari2.4-HDP2.5          目录1 集群配置说明...32 集群配置...32.1 集群组成...42.2 基础软件要求...52.3 修改主机名并设置DNS解析...52.4 配置ssh无密码登录...52.5  配置ntp服务...72.6