- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 FlinkYarn报错ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Seriali
删除Flink的lib目录jar包： mv flink-sql-connector-kafka_2.11-1.11.1.jar flink-sql-connector-kafka_2.11-1.11.1.jar.drop 问题解决。
2021-07-22 12:41:14
724
3
原创 Flink Yarn-Session模式写入hbase报错NoClassDefFoundError: org/apache/htrace/Trace的解决(基于CDH6.3)
版本:Flink1.11.1 CDH:6.3.2 Htrace版本 解决方法： 所有节点执行： cp /opt/cloudera/parcels/CDH/jars/htrace-core* /opt/cloudera/parcels/CDH/lib/hbase/lib/
2021-06-08 10:51:01
566
原创 CDH6.3.2 安装 AIRFLOW1.10（亲测可用）
CDH6.3.2 安装 airflow1.10 一、环境 1、CENTOS7.6 2、REDIS 3、AIRFLOW PARCEL 二、支持的版本 Airflow 1.9.0 Airflow 1.10.3 三、支持的系统 1、CENTOS/RHEL 6 & 7 2、DEBIAN 8 3、UBUNTU 14.04, 16.04, & 18.04 四、安装CSD 1、下载JAR文件 ，AIRFLOW CSD文件 下载地址Airflow csd 2、 将AIRFLOW.
2021-03-15 16:58:35
720
原创 Hive On Spark报错Caused by: java.lang.ClassNotFoundException: scala.collection.Iterable
执行以下命令即可： echo "export HIVE_SKIP_SPARK_ASSEMBLY=false;" >> /etc/profile source /etc/profile
2018-12-14 15:39:55
3791
4
原创 Spark用法：关于写入Mysql表Append Mode数据被清空的解决办法
前提：小编自己的环境是（CDH）Spark2.2.0 Scala2.11.8 起因：当使用Append追加写入mysql类型的数据库，spark默认是把之前存在的数据清空，然后再写入数据；这让我们很无语，明明是Append，你却给我overwrite 解决：修改源码，重写两个类（只要把这两个类放到自己项目中，无需修改spark底层源码） 1.JdbcUtils 原本是：if (mode...
2018-10-25 10:42:03
2627
空空如也
spark的DataFrame forEach导致的OOM问题
2017-10-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人