格格颜心

解决：org.apache.spark.sql.AnalysisException: Multiple sources found for parquet (org.apache.spark.sql.execution.datasources.v2.parquet.ParquetDataSourceV2, org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat)

org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'doris'打包时需要将多个构件中的class文件或资源文件聚合。资源的聚合需要shade插件提供了丰富的Transformer工具类。

最近任务在大量shuffle时，发现了shuffleread时候特别慢，查了相关的参数做一下记录。spark.reducer.maxSizeInFlight默认值：48m 参数说明：该参数用于设置shuffle read task的buffer缓冲大小，而这个buffer缓冲决定了每次能够拉取多少数据。 调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如96m），从而减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。在实践中发现，合理调节该参数，性能会有1

hadoop不同集群之间文件拷贝 DistCp用法

然后挂掉Active节点后，其他的节点可以正常激活。

https://www.cnblogs.com/ailsa-mei/p/8734339.html这篇博客写的非常好。另外我双的博客记录的也很全面：https://www.cnblogs.com/zhaozishuang/p/9314181.html 。1.输入ifconfig查看ip，发现里面有一个eth1的连接但是到/etc/sysconfig/network-scripts里，...

虚拟机移动了个位置，从本地D盘移动到了移动硬盘E盘上后，出现了了一些问题。上篇文章是网络问题。这篇文章是hadoop集群的问题。问题尝试解决过程：1.昨晚启动时发现namenode有一个节点始终启动不了。查了网上的资料，删除了/home/hadoop/data/hadoopdata/journaldata/bd1804/current里的VERSION 文件，重新格式化后，nameno...

本来调试的好好的spark代码，加了一个参数读入的问题后，瞬间报这个错误。问题所在，在定义spark context变量之前写了太多代码。解决方法：将代码移至spark context定义之后。...

Windows下安装的vmware,上面跑了三个hadoop虚拟机.某天电脑发热过大死机了,后来强制关机,再开机后,虚拟机前面有三个红叉,不能启动,这个时候千万不要点移除虚拟机.去Windows下安装虚拟机的地方,删除产生的临时文件和日志文件,后打开虚拟机即可,问题解决.删除的文件如下. ....

原因是之前错误配置的时候执行生成的Application占用了资源.将不用的Application全部kill掉后,重新执行.一切正常!类似的其他情况也可以先查看进程.把不用的进程关掉....

如果出现两个standby:1.先在一个节点上先关闭zkfc: 执行 hadoop-daemon.sh stop zkfc2.查看状态,另一个节点会变为active;3.重新开启zkfc:执行 hadoop-daemon.sh start zkfc...