THREEFUCT的博客

map输出，分割单词增加尾部1，方便统计reduce统计调用管道符测试上面是一个简单的例子加大一点点难度使用MapReduce实现如下功能(要mapreduce思维实现，考虑多节点协同处理，非以往的Python单节点处理数据思维)现有数据 emp.csv 、 dept.txtemp.csv ----------------------------- ------------------------ dept.csv部门编号 姓名

csv数据参考hadoop综合实验(对日志的处理mapreduce保存到csv)三、使用Hive对日志数据进行分析和统计记得运行hdfs，参考hadoop综合实验(对日志的处理mapreduce保存到csv)启动hive创建数据库查看数据库是否创建成功使用数据库创建表该表对应的是csv里面的部分内容，部分数据如下把csv表的数据导入到数据库1、（代码、截图）哪个IP地址(域名) 访问次数最多？2、（代码、截图）哪个IP地址(域名) 产生的流量最大？3、（代码、截图）产生流量最大的

综合实验：网站访问日志采集、处理及分析实验步骤注：截图必须使用实验机的带水印截图功能，题目中要求截图但未提供的视为未做一、使用Flume导入日志数据数据文件下载地址：新建一个待监控的文件夹，放入三个日志文件我这里是lhx1、（代码）创建flume配置，文件内容及部分属性注释(注意路径)：2、（截图）运行flume配置的命令（运行前需启动hadoop）：3、（截图）日志导入到hdfs后，查看hdfs目录内容：4、（截图）选取一个文件查看前几条内容:二、使用MapReduce对日志数据进行预处理1、

1、ls命令使用ls命令主要用于查看文件内的信息ls /homels -al /home/ubuntu-a 显示所有文件（all, linux中隐藏文件以"."开头）-l 详细信息显示(long)-d 查看目录属性(diretory)-i 查看文件iNode号（每一个文件特殊的标识）-h 信息的人性化显示（human）如下使用ls -a /homels -l /homels -al /homels -alh /home2、pwd 和 cd显示当前工作的目录pwd