java技术分享

1、报错信息如下：日志目录/var/log/cloudera-scm-firehose/mgmt-cmf-mgmt-HOSTMONITOR-hadoop102.log.out。很明显就是因为删除的日志导致找不到文件。

spark3.3.1通过hbase-connectors连接CDH6.3.2自带hbasehbase-connectors源码编译scala脚本测试hbase-connectorspyspark脚本测试hbase-connectors

CDH6.3.2版本pyspark-sql通过hive访问hbase

conda打包pyspark运行环境在yarn上运行

服务器编译spark3.3.1源码支持CDH6.3.2

CDH-6.3.2完整安装附带资源包

采用yarn方式启动spark-thriftserver

spark-streaming 事件时间的窗口滑块(Window Operations on Event Time)实例

spark报错：java.lang.String is not a valid external type for schema of bigint

yarn怎样调度spark答疑

flume+rabbitmq+spark-streaming结合使用

flume对接RabbitMq

spark数据倾斜-随机前缀和扩容RDD进行join-java源码

性能优化 - 解决数据倾斜方案(1)Java版本

Spark中分布式执行的代码需要传递到各个Executor的Task上运行。对于一些只读、固定的数据(比如从DB中读出的数据),每次都需要Driver广播到各个Task上，这样效率低下。广播变量允许将变量只广播（提前广播）给各个Executor。该Executor上的各个Task再从所在节点的BlockManager获取变量，而不是从Driver获取变量，从而提升了效率。广播变量，初始的时候，就在Drvier上有一份副本。task在运行的时候，想要使用广播变量中的数据，此时首先会在自己本地的Executo

yarn-spark-cluster配置history server并通过YARN跳转spark-ui

spark-streaming pull方式拉取 flume-1.6.0-cdh5.10.1数据提供flume-1.6.0-cdh5.10.1 资源下载

spark采用池化方案解决Task not serializable提高性能附代码

删除提交产生的缓存1、先使用如下命令查看文件夹占用情况du -h -x --max-depth=1 /文件夹名称2、切换到如下文件夹/usr/local/src/app/tmp/usercache/root/filecache3、清空文件夹下内容rm ./*4、接着在执行如下命令关闭安全模式hdfs dfsadmin -safemode leave5、执行上传命令spark-submit --class org.example.logshandler.LogsHandlerYar

1、需要将mysql驱动放入spark的jars包下面spark-2.6.0-bin-2.6.0-cdh5.16.2/jars/2、准备数据2.1、mysql库2.2、准备hive数据3、编写代码public class MoreDatabasesSpark { public static void main(String[] args) { SparkSession session = SparkSession.builder().appName("SparkSe

1、spark仅仅作为一个客户端–master yarn 相当于 --deploy-mode client，也就是yarn-client模式时，后边这句–deploy-mode client可写可不写如果是yarn-cluster模式，则需要写上–deploy-mode cluster./spark-submit --class org.example.SparkSqlToHive --master yarn /usr/local/src/test/SparkTest-1.0-SNAPSHOT.jar

java打包spark jar包访问hive数据源

1、小文件怎么产生1）通过某种手段采集数据采集过来Flume 采集到HDFS的数据会有很多小文件 需要调优LogstashWebServer2）MR(setPartitionerClass/setNumReduceTasks)/Hive/Spark（Core/SQL/Streaming）ETL 产生很多小文件stat(计算的东西又写入到表中) 数据仓库 分好几层 又是一堆小文件解决？？？删：原始数据ETL：根据规定删除Stat: 合？ SequenceFile

show databases ;-- 创建数据库 相当于新增一个 目录create database test_db1;-- 删除数据库 相当于删除一个目录drop database test_db1;use test_db;show tables ;create table helloword(id int,name string) row format delimited fields terminated by ',';create table sex(id int,name

could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this operation.