
hadoop
文章平均质量分 81
RunningSunBoy
Coding for fun~
展开
-
hadoop-运行WordCount实例
运行Hadoop的第一个实例:WordCount 1.配置hadoop的运行环境见大数据管理系统开发环境搭建 2.运行hadoop系统(./start-all.sh),用jps查看所有的hadoop进程,应该有以下进程 namenode secondary-namenode datanode 以上三个节点保证了原创 2015-05-10 13:22:56 · 707 阅读 · 0 评论 -
hadoop——在命令行下编译并运行map-reduce程序
hadoop map-reduce程序的编译需要依赖hadoop的jar包,我尝试javac编译map-reduce时指定-classpath的包路径,但无奈hadoop的jar分布太散乱,根据自己写的程序来一个个指定jar包的位置又太麻烦,于是又尝试修改java的classpath配置文件,结果不知道为什么编译时还是提示找不到jar包,于是只有用最后一劳永逸的方法:把hadoop原创 2015-05-10 13:29:06 · 582 阅读 · 0 评论 -
hadoop-初学者写map-reduce程序中容易出现的问题
1.写hadoop的map-reduce程序之前所必须知道的基础知识:1)hadoop map-reduce的自带的数据类型: Hadoop提供了如下内容的数据类型,这些数据类型都实现了WritableComparable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储,以及进行大小比较。(如果是自定义的key,value的数据类型,必须也要写其大小比较的方法)Bo原创 2015-05-10 13:29:11 · 1570 阅读 · 1 评论 -
hadoop——配置eclipse下的map-reduce运行环境
1.通过修改实例模板程序来实现自己的map-reduce:为了让示例程序run起来:1)安装eclipse2)安装map-reduce的eclipse插件eclipse的map-reduce插件可以很方便的创建hadoop项目(自动导入所依赖的map-reduce jar包)和打开map-reduce视图(在里面可以像查看本机文件系统一样直观的看到hdfs文件系统的结构)原创 2015-05-10 13:26:39 · 1794 阅读 · 0 评论