newas3的博客

-mkdir　　创建目录hdfs dfs -mkdir [-p] < paths>-ls　　查看目录下内容，包括文件名，权限，所有者，大小和修改时间hdfs dfs -ls [-R] < args>-put　　将本地文件或目录上传到HDFS中的路径hdfs dfs -put < localsrc> … < dst>-get　　将文件或目录从HDFS中的路径拷贝到本地文件路径hdfs dfs -get [-ignoreCrc] [-crc]

示例：row_count.sh文件awk '{print NR}' row_count.sh | tail -n1awk 'END{print NR}' row_count.shgrep -n "" row_count.sh|awk -F: '{print '} | tail -n1sed -n '$=' row_count.shwc -l row_count.shcat row_count.sh | wc -l一、获取指定目录所有文件的行数：#!/bin/bash file

#如果知道行号可以用下面的方法sed -i ‘88 r b.file’ a.file #在a.txt的第88行插入文件b.txtawk ‘1;NR==88{system(“cat b.file”)}’ a.file > a.file#如果不知道行号，可以用正則匹配sed -i ‘/regex/ r b.txt’ a.txt # regex是正则表达式awk ‘/target/{system(“cat b.file”)}’ a.file > c.file#sed的話如果不改变源文

日期处理是关于如何获取日期以及格式化日期，举个最常见的例子，销售类报表是领导一定都要看的。假如每天十点之前要给领导递交昨天的销售数据，假设和领导约定要在每天上午的十点，你是怎么处理的呢？？？场景说明针对大数据开发初学者，给初学者看的；学习收获：掌握DML语句开发出来之后，如何写调度程序知识储备要求：有一定的 sql 基础，尤其是 query 语句，了解 shell 脚本本文讲解面向平台是大数据计算平台，例如，hive、presto 等单个任务下，常见的几个问题列表日期处理路径问题变量替