
hadoop问题
文章平均质量分 78
公众号【禅与大数据】,欢迎订阅
禅与大数据
展开
-
maven3.5+hadoop2.7.3统计米骑测试日志KPI指标(二)
maven3.5+hadoop2.7.3统计米骑测试日志KPI指标(二) 前面粗略统计了某些接口的pv,下面统计下ip的访问次数,并按次数从大到小显示出来. 仍以那个1万条日志,2.5M大小,以这个作为统计样本。原创 2017-06-30 15:39:17 · 463 阅读 · 0 评论 -
maven3.5+hadoop2.7.3统计米骑测试日志KPI指标(三)
这次把日志记录中某些特定的访问ip区分出来.比如101.226.93, 112.17.244, 218.26.54开头的ip区分放到另一个输出文件里面. 这次样本数据还是以那个1万条日志,2.5M大小,以这个作为统计样本。 见文章:http://blog.youkuaiyun.com/cafebar123/article/details/73928303 (1)统计每个访问ip出现的次数,这个不说了,原创 2017-06-30 16:54:56 · 352 阅读 · 0 评论 -
maven3.5+hadoop2.7.3统计米骑测试日志KPI指标(四)
maven3.5+hadoop2.7.3统计米骑测试日志KPI指标(四) 下面统计下访问次数最高的ip.原创 2017-06-30 17:41:15 · 415 阅读 · 0 评论 -
hadoop2.7.3分布式集群问题汇总(持续更新)
hadoop2.7.3分布式集群问题汇总(持续更新)原创 2017-06-22 16:47:25 · 425 阅读 · 0 评论 -
win10+Ecplise运行wordcount程序
win10+Ecplise运行wordcount程序 (1)hadoop.dll下载 http://download.youkuaiyun.com/detail/chenxf10/9621093原创 2017-06-22 22:40:38 · 853 阅读 · 0 评论 -
jdk1.7+Eclipse+Maven3.5+Hadoop2.7.3构建hadoop项目
Eclipse+Maven3.5+Hadoop2.7.3构建hadoop项目 hadoop2.7.3 wordcount hadoop开发环境原创 2017-06-23 22:33:10 · 2014 阅读 · 0 评论 -
hadoop进程之间的对应关系和相关概念
hadoop进程之间的对应关系和相关概念 hadoop由于是应用于集群,所以进程比较多,且主从服务器上的进程并不完全一样. namenode 和 jobtracker属于master, datanode 和 tasktracker属于slave . SecondaryNameNode 内存需求和NameNode 在一个数量级上,所以通常secondary NameNode(运行在单独的物理机器上)和 NameNode运行在不同的机器上.转载 2017-07-10 11:32:40 · 563 阅读 · 0 评论