- 博客(5)
- 收藏
- 关注
RSS订阅原创 采用Flume-kafka-Flume将数据导入到HDFS中
首先，我们要创建两个conf文件供Flume来使用，分别为flume-kafka.conf和kafka-flume-hdfs.conf,然后我们创建一个kafka的topic，叫做flume，我们通过这个topic来检验flume的数据是否传输给了kafka。 下面是示例代码。 首先创建flume-kafka.conf # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = spooldir
2020-08-14 17:17:02
1456
原创 flume监听文件或目录上传到hdfs时，无法读取到数据，解决办法
当我们用flume去监听一个文件或目录时，需要设置一些信息。详情请参考flume官方文档，但是，有的时候设置完成后，执行，有可能会读取不到数据 这时候我们就要看一下我们的设置。 a2.channels.c2.transactionCapacity = 100 a2.sinks.k2.hdfs.batchSize = 1000 需要看一下这两个设置，我们这两个设置一定要是相同的情况下才可以。 自己重新设置一下就可以了。 ...
2020-07-29 14:36:13
3010
原创 使用scala语言通过IDEA使SparkSQL与Hive建立连接时产生的一些问题和解决方法。
基础代码： import java.io.File import org.apache.spark.sql.Row import org.apache.spark.sql.SparkSession case class Record(key: Int, value: String) val warehouseLocation = new File("spark-warehouse").getAbsolutePath val spark = SparkSession .builder() .appName
2020-07-16 15:21:09
608
原创 IDEA创建SparkSQL程序中出现的一些错误及解决方法
java.lang.IllegalArgumentException: Illegal pattern component: XXX 第一次出现这个问题：主要原因是缺少依赖，在pom文件中导入依赖 <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.5&
2020-07-14 12:37:44
548
原创 解决通过IDEA连接HBase时出现拒绝连接的错误
当我们用IDEA连接Hbase时，如果出现下面这种一直尝试连接的警告。 我们可以在代码： val conf = HBaseConfiguration.create() 后面加上自己的Hbase所在的主机号： conf.set("hbase.zookeeper.quorum", "172.16.50.30") 如果这样还不能解决，请参考其他人的意见。 ...
2020-07-13 14:55:43
1440
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人