- 博客(6)
- 收藏
- 关注
RSS订阅原创 [SparkSQL] 列转行lateral view explode函数和FlatMap算子两种方式实现炸裂
SparkSQL通过FlatMap算子实现列转行(炸裂)我用了两种方法实现列转行，说一下我平时使用SparkSQL的习惯，我通常1）是先读取HDFS中的文件，包括txt、parquet等格式2）然后通过createOrReplaceTempView 方法创建临时表格3）之后写sql直接处理相关代码可以参考我写的另一篇文章：一、开发环境spark-2.1.0-bin-hadoop2.6...
2019-08-10 11:25:29
4781
原创 [SparkSQL] regexp_replace函数使用 去除特殊隐藏字符\n\t\r
REGEXP_REPLACE(inputString, regexString, replacementString)第一个参数：表中字段第二个参数：正则表达式第三个参数：要替换称为的字符函数使用起来比较简单，但是也有坑，当要匹配特殊的隐藏字符\n \r \t ,等回车符、制表符时，需要通过使用四个 \ 进行转译。如果不去出这些隐藏字符，在我们导出数据写入文件时会产生异常，在中间进...
2019-08-09 19:49:37
16502
2
原创 [SparkSQL] Rdd转化DataFrame 通过StructType为字段添加Schema
SparkSQL-Rdd转化DataFrame-通过StructType为字段添加Schema开发环境Rdd转换成DataFrame，为字段添加列信息特别注意开发环境spark-2.1.0-bin-hadoop2.6Rdd转换成DataFrame，为字段添加列信息参数 nullable 说明：Indicates if values of this field can be null val...
2019-08-09 19:30:07
1961
原创 获取Redis连接池实例报错及解决方案（ Could not get a resource from the pool）
描述：这个错误产生的前提是这样的，将数据存入redis（新安装的）中，在通过连接池获取jedis实例时，产生如下错误（ Could not get a resource from the pool）。分析：由于是新安装的redis，配置文件没有更改，低级的错误浪费不少时间，写一篇文章，让同样犯这种错误的朋友别再浪费时间。解决：更改配置文件 redis.conf 中两处1.将 bind ...
2019-03-24 21:33:01
8250
1
原创 Scala基础知识入门——集合的创建、处理细节
Scala基础知识入门——集合一、scala集合基本介绍Scala同时支持不可变集合和可变集合两个主要的包：不可变集合：scala.collection.immutable可变集合： scala.collection.mutableScala默认采用不可变集合，对于几乎所有的集合类，Scala都同时提供了可变(mutable)和不可变(immutable)的版本Scala的集合有...
2019-03-05 23:24:17
1271
原创 Hive Shell指令——数据导入方法、数据导出方法详解
Hive数据导入方法、数据导出方法总结一、Hive数据导入方法 ——六条1. 使用 load data 导入2.使用 Insert into / overwrite 导入3. 使用 As select 导入4. 使用Location导入5. 使用Import导入6. 使用Sqoop导入二、Hive数据导出方法——五条1. 使用 Insert overwrite 导出2. 使用 Hadoop 命令导...
2019-02-26 00:03:59
3108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人