DBinputformat的使用

最新推荐文章于 2019-08-17 15:47:03 发布

maixia24

最新推荐文章于 2019-08-17 15:47:03 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/maixia24/article/details/12914021

hadoop 专栏收录该内容

56 篇文章

订阅专栏

本文介绍了一种将SQL数据库中的数据导入HDFS的方法。通过使用setInput方法配置JobConf对象，可以指定输入查询和计数查询来选择并计算目标表的数据量。示例展示了如何从booktable表中抽取书籍数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

很简单，就是把sql数据库导入hdfs中

经常用的方法是如下方法

setInput

public static void setInput(JobConf job,
                            Class<? extends DBWritable> inputClass,
                            String inputQuery,
                            String inputCountQuery)

Initializes the map-part of the job with the appropriate input settings.

Parameters:

job - The job

inputClass - the class object implementing DBWritable, which is the Java object holding tuple fields.

inputQuery - the input query to select fields. Example : "SELECT f1, f2, f3 FROM Mytable ORDER BY f1"

inputCountQuery - the input query that returns the number of records in the table. Example : "SELECT COUNT(f1) FROM Mytable"

例如

String queryStr="select distinct bookid, bookname from booktable";

String countStr="select count (*) from booktable";

DBinputformat.setInput(jobname,Book.class,queryStr,countStr);

这样的话，就好将booktable这个表中的书籍数据取出来放到了Book.class 中。