MRJob 极速入门教程，使用Python玩转Hadoop

想要Hadoop乖巧地运行Python程序，学习mrjob可能是最直接、最简单的方法了，你甚至都不要按安装部署Hadoop集群。mrjob拥有很多优秀的特性比如：

• 支持多步骤的MapReduce任务工作流

• 支持内嵌、本地、远程亚马逊以及Hadoop

• 调试方便不需要任务环境支持

本教程通过 python 中 mrjob 模块来调用 hadoop 处理数据。通过本次实验，你可以初步入门mrjob，轻松编写mr来使用hadoop。主要知识点：

• Python MRJob模块的安装

• Hadoop——Python各模块介绍

• 使用MRJob实现文本统计

• Python MRJob的运行方式

• 重写MRJob函数实现复杂数据处理

效果展示。该展示数据含义是通过mrjob将每个用户（cuid）看过哪些电影（vid）进行统计并输出。

mrjob支持python2和python3 。mrjob可以通过pip直接安装，也可以通过下载源码通过setup.py安装，可参考mrjob安装说明。 本实验中，使用shiyanlou账户通过sudo权限进行安装。pip安装指令：