该博客实例展示了如何利用Python编写MapReduce脚本在Hadoop集群上进行数据查询。通过map和reduce两个阶段，从LZO压缩的文件中提取、处理数据，并将结果导入数据库，大大提高了数据处理效率。
条件，假设你已经装好了hadoop集群，配好了hdfs并可以正常运行。
$hadoop dfs -ls /data/dw/explorer
Found 1 items
drwxrwxrwx - rsync supergroup 0 2011-11-30 01:06 /data/dw/explorer/20111129
$ hadoop dfs -ls /data/dw/explorer/20111129
Found 4 items
-rw-r--r--
Found 1 items
drwxrwxrwx - rsync supergroup 0 2011-11-30 01:06 /data/dw/explorer/20111129
$ hadoop dfs -ls /data/dw/explorer/20111129
Found 4 items
-rw-r--r--
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
