
hadoop
文章平均质量分 77
chenchenrao
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
本地将普通文件转为hadoop序列化的文件
近日,因为工作中需要将mou原创 2014-08-21 17:12:23 · 734 阅读 · 0 评论 -
安装hadoop2.4.0
今天尝试安装hadoop2.x系列,主要依靠几位前辈的文章搞定,在此转载 2014-09-27 14:50:13 · 445 阅读 · 0 评论 -
借鉴sqoop实现hdfs文件内容导入mysql
这次需要将hadoop mr的计算结果导入到mysql中,虽然是mr的结果导入db中,为了保险起见,还是存在hdfs上,之后读取hdfs上的结果导入db中,读取失败可重新执行单个读取导入过程。 一般先动手前,有个思路,再百度看看是否有更好的实现,大略搜了一下,发现sqoop貌似实现了hdfs和各种dc之间的读取写入。这里,因为业务简单,都是insert语句不涉及事务,只是连接一个db,不原创 2015-04-07 17:34:18 · 1329 阅读 · 0 评论 -
读取hdfs文件内容导入mysql(续)
现在想单独的写个类实现读取hdfs文件内容导入mysql,也就是使用java api 来写main方法那种形式来实现。 Configuration conf = new Configuration(true); conf.set("fs.default.name", "hdfs://cluster2"); conf.set("fs.hdfs.impl", "org.apache.ha原创 2015-04-09 15:40:40 · 2906 阅读 · 0 评论