
hadoop
brightming
持续学习与实验,持续成为更好的自己
展开
-
hadoop map方法的运行流程浅析(1.2.1的src)
通过抛出的异常看看hadoop任务的执行流程:at org.apache.hadoop.mapred.lib.db.DBInputFormat$DBRecordReader.getSelectQuery(DBInputFormat.java:93)at org.apache.hadoop.mapred.lib.db.DBInputFormat$DBRecordReade原创 2014-06-04 10:44:41 · 770 阅读 · 0 评论 -
hadoop读取数据库信息的尝试
package db;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;impo原创 2014-06-04 10:50:51 · 647 阅读 · 0 评论 -
hadoop安装测试流程
hadoop下载地址: http://mirrors.hust.edu.cn/apache/hadoop/common/stable1/hadoop-1.2.1.tar.gzjdk下载地址:http://download.oracle.com/otn-pub/java/jdk/8u5-b13/jdk-8u5-linux-i586.rpm?AuthParam=1400373937原创 2014-05-22 12:36:39 · 587 阅读 · 0 评论 -
hadoop的分区、分组与排序的理解
首先需要明确的是,hadoop里的key一定要是可排序的,要么key自身实现了WritableCompar原创 2014-06-09 17:20:03 · 6871 阅读 · 2 评论 -
hadoop运行一个java class
根据《hadoop权威指南》,写了一个MapFile的代码原创 2014-05-30 16:23:44 · 2184 阅读 · 0 评论