跳蛙pass的博客

Exception in thread “main” java.lang.RuntimeException: Cannot create staging directory ‘hdfs://192.168.56.110:9000/usr/hive/warehouse/cb_sdss_jl/.hive-staging_hive_2022-02-10_14-25-56_070_6289356312406983760-1’: Permission denied: user=10392, access=WRITE,

启动环境#启动zookeeperzkService.sh start#启动kafkakafka-server-shart.sh /opt/soft/kafka211/config/server.properties配置sources文件flume-kafkacd /opt/flumeconfvi conf_08011_kafka.properties#conf_08011_kafka.propertiess配置a11.channels=c11a11.sources=s11a11.s

文章目录一级目录二级目录三级目录Spark基础及架构一、认识Spark快速易用通用多种运行模式Spark 与Map Reduce 比较Spark 技术栈二、了解 Spark 架构与运行环境spark 环境部署一级目录二级目录三级目录Spark基础及架构一、认识SparkApache Spark 是大数据领域最活跃的项目之一，其活跃度目前远超 Hadoop。特点是快速、易用、通用及多种运行模式。快速​ Spark 是面向内存的大数据处理引擎，这使得 Spark 能够为多个不同数据源的数据提供

文章目录一级目录二级目录三级目录Spark2.4.3基本原理与安装安装步骤一级目录二级目录三级目录Spark2.4.3基本原理与安装1.spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效