huntblack的博客

采坑及解决思路版本介绍代码展示踩坑1踩坑2 版本介绍 TYPE ASCII HADOOP 版本 3.2.1 JAVA版本 1.8 编辑器 IDEA 开发是在window上使用IDEA, 连接腾讯云购买的云主机, 云主机安装了HADOOP的环境; 代码展示 package com.imooc.bigdata.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSyst

LATERAL VIEW explode 说明: UDFArgumentException explode() takes an array or a map as a parameter, 主要是将array和map 打平; 比如: 有个test表,结构如下: A B C [“垂直频道优质网易号提权_实验组_1”,“mfv2替换实验_实验组_1”] 1 k1 null 2 k2 则select A_explode from test where B=1 lateral view e

欢迎使用Markdown编辑器写博客 1.hdfs下载文件夹中多个文件 hadoop fs -get /目录 目录 结果是输出到本地的文件夹之中 2.多个文件合并后输出到一个文件之中 hadoop fs -getmerge filePath localPath/data.dat 3.统计多个文件行数 hadoop fs -cat /文件* | wc ...

1.创建临时表: CREATE EXTERNAL TABLE IF NOT EXISTS tmp.tmp_tb_jinritoutiao_log ( content string COMMENT 'json内容格式' ) COMMENT '今日头条视频内容' PARTITIONED BY (`day` string) STORED AS INPUTFORMAT 'com.hadoop....

建表时候老报错: ParseException line 3:7 character ’ ’ not supported here 查了许久终于发现 (这里看不清楚,其实是个·), 在两个字符中间; 最终在有道Markdown编辑模式下找到问题: content和string之间有个·,sublime根本看不见!! done...

现有hdfs路径hadoop fs -du -h /user/portal/ODM/RECOMMEND/abc; 路径下有每天分区 139.1 M /user/portal/ODM/RECOMMEND/readAgentInfo/abc 744.4 K /user/portal/ODM/RECOMMEND/readAgentInfo/abc.2018-12-04 1.1 M /user/...

桌面有txt文件名为: words.txt 上传至本地服务器: rz 在Hive中建表 create table tmp.words_counts (word string ) STORED AS TEXTFILE LOCATION '/user/portal/user/portal/tmp/sunlu1/words'; 将本地磁盘文件导入Hive表中: LOAD DATA LOCAL I...