- 博客(11)
- 资源 (4)
- 问答 (5)
- 收藏
- 关注
RSS订阅原创 Mac编译运行Doris FE源码
路径就是自己代码所在的路径（此处要写绝对路径）这个错误已经不影响使用了。在doris目录下执行。然后到fe目录下编译。
2024-03-24 18:07:58
545
原创 记一次spark写parquet格式文件失败
我这是因为一个Set类型的字段，add了一个null导致写入失败。/(ㄒoㄒ)/~~Job aborted due to stage failure: Task 0 in stage 1.0 failed 4 times, most recent failure: Lost task 0.3 in stage 1.0 (TID 4, master, executor 7): org.apache.spark.SparkException: Task failed while writing rows a
2022-03-15 11:07:43
2598
原创 Spark集成Redis-操作Redis数据
第一步：添加依赖 <dependency> <groupId>com.redislabs</groupId> <artifactId>spark-redis_2.11</artifactId> <version>2.4.2</version> </dependency>然后导入import com.redislabs.provider.redis._这
2021-01-13 19:42:23
1278
原创 java.io.IOException: (null) entry in command string: null chmod 0700 E:\tmp\hadoop\mapred\staging\te
Exception in thread “main” java.io.IOException: (null) entry in command string: null chmod 0700 E:\tmp\hadoop\mapred\staging\test1676876159.staging报错信息：log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactor
2020-07-22 10:27:11
5267
2
原创 Flink------DataStream--wordcount
一个简单的单词计数flink程序。public class SocketWordCount { public static void main(String[] args)throws Exception { // 获取执行环境 final StreamExecutionEnvironment env = StreamExecutionEnvironme...
2019-08-07 18:04:52
607
原创 Flink SQL/Table API 消费Kafka数据并存入MySQL（通过JDBCAppendTableSink方式来实现存入到MySQL）
这种方式实现存到MySQL，需要注意一些问题import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.common.typeinfo.TypeInformation;...
2019-06-13 18:42:20
5498
6
原创 Flink SQL/Table API 消费Kafka的json格式数据存到MySQL--存入MySQL通过继承RichSinkFunction来实现
这几天学习Flink，可以说是很懵，啥资料都很少。遇到程序能运行，但是接收不到Kafka传来的数据，可能是因为版本问题。在更改Kafka版本的时候，最好重新创建topic。废话不多说，下面直接上代码！！！*完整代码package cn.flink;import org.apache.flink.api.common.typeinfo.Types;import org.apache....
2019-06-11 15:02:37
5936
9
原创 pyspark：连接数据库（MySQL），写数据
今天做到这，搜了很多，然后还是一直报错df.write.mode(“Append”)\# .jdbc("jdbc:mysql://192.168.219.150:3306/test","regional",{"user":"root","password":"123456","driver":"com.mysql.jdbc.Driver"})用的这种报错。。。也有其他的，忘了保存。...
2019-04-26 20:42:49
2519
转载 Kafka整合flume错误
Kafka与flume整合错误：java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
2019-03-06 18:21:49
284
原创 flume与spark streaming结合报错（pull方式）
flume与spark streaming结合（pull方式）报错：org.apache.flume.FlumeException: Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSink, class: org.apache.spark.streaming.flume.sink.SparkSink1、报...
2019-03-05 17:15:27
477
1
2.0.0.rar之spark-streaming-flume-sink_2.11-2.0.0.jar
2019-05-26
spark-streaming-flume-sink_2.11-2.0.0.jar
2019-05-07
获取一年中最大的一周是多少周？？
2019-12-19
hadoop3.0.0不会生成_success文件吗
2019-12-10
spark：在reduceByKey中，怎么获取到key的值
2019-08-24
怎么获取linux脚本的执行状态
2019-08-06
关于flink的JDBCAppendTableSink不能往MySQL写入数据的问题
2019-06-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人