大数据分析——Hive数据处理

1、IP地址规划表（三台虚拟机IP和本机IP规划及截图）

 2、操作步骤

将原有数据集删除首行：

sed -i '1d' user_log.csv

删除首行后查看前几行的数据： 

并将原有数据集剪切出1w条数据，并放入新的文件small_user_log.csv中：

./predeal.sh ./user_log.csv ./small_user_log.csv

 

hdfs创建文件夹，命令：

hdfs dfs -mkdir -p /dbtaobao/dataset/user_log1

 

​​​​​​​将user_log.csv文件推至hdfs文件内：

hdfs dfs -put -p /usr/local/dbtaobao/dataset/user_log.csv /dbtaobao/dataset/user_log1