hadoop
关注
分享
扫一扫
indie-XinYe
独立开发，目前个人产品：
http://www.aiyouvideo.com beta版，智能文字生视频，助力视频内容创作者；
http://www.91download.com 各类在线视频网站（YouTube, Facebook, Twitter, TikTok, Instagram, Dailymotion, Reddit, B站,小红书，知乎等）视频下载；
http://www.indie123.com 建设中，独立开发者社区
展开
-
【hadoop】streaming 文件分发与打包
如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在，则首先需要将这些文件分发到集群上才能成功进行计算。Hadoop提供了自动分发文件和压缩包的机制，只需要在启动Streaming作业时配置相应的参数。以下为介绍与对比： more：http://hadoop.apache.org/mapreduce/docs/current/streaming.html 用原创 2012-07-14 15:04:16 · 3173 阅读 · 0 评论 -
【hadoop】map reduce的嵌套调用
一天一个blog压力有点大，今天写个水点的，我的一个hadoop的比较二的应用方式。 今天在一个产品线里写了个挺有意思的map reduce应用，就是我在map reduce的节点上再次启动了个map reduce任务。由此，节点间形成一个类似于树状的层次结构。和预期的一样，跑的还挺欢快的。 说一下具体应用吧。比如这次，我是在reducer中启动子map reduce，那么你显然要解决子m原创 2012-09-07 00:55:29 · 1579 阅读 · 0 评论 -
【hadoop】map reduce任务提交后系统干嘛了
1、 文件上传 DFSClient向JobTracker提交任务之前，会将任务运行所需要的文件放入HDFS，从而可被JobTracker和TaskTracker得到：一般有执行文件，配置文件，input数据等 当Map-Reduce程序停在JobTracker.submitJob函数中的时候，让我们查看HDFS中有如下的变化： bin/hadoop fs -ls /data/hadoo原创 2012-09-08 20:51:37 · 1176 阅读 · 0 评论