
HDFS
文章平均质量分 77
hyfstyle
这个作者很懒,什么都没留下…
展开
-
CDH6离线部署
CDH6.3.1 离线安装部署一、服务器准备,CDH相关安装包准备好 都上传到服务器/home 目录下(一)修改hosts和hostname文件更新 /etc/hosts 和 /etc/hostname 文件用xshell或者CRT工具远程连接这些服务器,选中交互窗口,相同的命令输入 一键发送# IP地址和主机名根据实际情况替换echo "10.10.10.1 cdh001" >> /etc/hostsecho "10.10.10.2 cdh002" >> /etc/原创 2021-11-30 17:34:57 · 1950 阅读 · 0 评论 -
HIVE中用到的日期函数总结
hive获取当前时间>select current_date from dual; -- 2019-03-15>select current_timestamp from dual; --2019-03-15 15:47:25hive 查询当月第几天>select dayofmonth(current_date) dual; >15 hive 查...原创 2019-03-15 17:16:46 · 22532 阅读 · 0 评论 -
HDFS基础命令
创建目录命令 hdfs dfs -mkdirhdfs dfs -mkdir /user/hive/warehouse/hyfstyle --hadoop的mkdir命令会自动创建父目录上传文件命令 将本地文件或目录上传到HDFS中hdfs dfs -puthdfs dfs -put /tmp/cd_dt_day.txt /user/hive/warehouse/hyfstyle/...原创 2019-04-12 15:25:58 · 339 阅读 · 0 评论 -
[Error Code: 0, SQL State: HY000] Disk I/O error: Failed to open HDFS file
impala上tdm库的order表的某月数据有异常,需要重新上传,order表是按年月日分区的parquet文件格式存储数据的;例如20191201那天真实情况是没有数据的,但是因为异常操作导致混入了20191201的数据,后面再insert overwrite table tdm.order时 因为分区的原因,已经混入的20191201这天的数据需要手动删除 文件;手动删除hdfs目录下的文...原创 2020-05-20 17:15:03 · 4866 阅读 · 0 评论