- 博客(5)
- 收藏
- 关注
RSS订阅原创 hive之行列转换
同行不同列的连接 concat(连接一,'连接符',连接二,'连接符','连接三'.......) 可以把一行中多个字段相连接并生成一个新字段 concat_ws('连接符',连接一,连接二.........) 作用于concat()类似，但更加方便同列不同行的连接 collect_set(字段一，字段二) 把一列中的某些字段放在一个字段中行转列 explode(字段) 把一个map或array类型的字段炸开，拆开成多行 lateral view explode(字段名)
2020-12-28 14:51:11
168
原创 MapReduce输出到Mysql，使用DBOutputFormat实现
项目场景：在写MapReduce程序的时候，不时也会遇到将需要程序结果保存到Mysql这种情况注意点：hadoop自带将数据到村子Mysql的OutPutFormat，及DBOutputFormat使用DBOutputFormat时需要注意几个点：1、需要实现一个实体类，这个实体类部分映射数据库中要查询的表的字段。2、实体类需要实现Writable与DBWritable两个接口，DBWritable的实现类负责查询与写入，Writable的实现类负责序列化输出。3、参数索引与列索引要一致。
2020-11-19 20:20:15
583
原创 MapReduce使用PathFilter进行文件过滤
前言在使用MapReduce对数据进行处理的过程中，难免会遇到在一个文件夹中避开某类文件的问题，在本篇博客中我们使用PathFilter路径过滤器过滤掉*.txt文件。这里使用词频统计来做一个简单的小例子.一、定义Mapper类import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.had
2020-11-15 14:39:03
675
原创 linux安装conda时出现的问题
项目场景：Linux使用Miniconda或者Anaconda创建环境时网络报错:问题描述：CondaHTTPError: HTTP 000 CONNECTION FAILED for url https://mirrors.tuna.tsinghurrent_repodata.jsonElapsed: -An HTTP error occurred when trying to retrieve this URL.HTTP errors are often intermittent, and
2020-10-08 21:00:53
840
原创 pyspark + kafka jar包下载:
pyspark + kafka 资料下载:org.apache.spark:spark-streaming-kafka-0-8-assembly_2.11https://search.maven.org/artifact/org.apache.spark/spark-streaming-kafka-0-8-assembly_2.11
2020-09-14 20:19:38
660
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人