Python之map()/reduce()

本文介绍Python中map和reduce这两个高阶函数的应用。map函数可以将传入的函数依次作用于序列的每个元素,并返回新的迭代器;reduce函数则可以对序列中的元素进行累积计算,最终得到单一结果。

map():

map()函数接收两个参数,一个是函数,一个是Iterable,map将传入的函数依次作用到序列的每个元素,并把结果作为新的Iterator返回。

>>> def f(x):
...     return x * x
...
>>> r = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> list(r)
[1, 4, 9, 16, 25, 36, 49, 64, 81]

reduce():

reduce把一个函数作用在一个序列[x1, x2, x3, …]上,这个函数必须接收两个参数,reduce把结果继续和序列的下一个元素做累积计算,其效果就是:reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)

>>> from functools import reduce
>>> def fn(x, y):
...     return x * 10 + y
...
>>> reduce(fn, [1, 2, 3, 4, 5])#将'12345’变为整数12345
12345

以上内容摘抄自于廖雪峰的官方网站-Python教程

### 如何在 Eclipse 中配置或找到 Map/Reduce 的运行位置 要在 Eclipse 中成功配置并找到 Map/Reduce 运行的位置,可以按照以下方式操作: #### 1. 创建 Map/Reduce 项目 确保已正确创建 Map/Reduce 类型的项目。打开 Eclipse 后,在顶部菜单栏依次选择 `File -> New -> Project`,然后从列表中选择 `"Map/Reduce Project"` 并完成项目的初始化过程[^1]。 #### 2. 安装 Hadoop 插件 为了支持 Map/Reduce 开发环境,需将 Hadoop 插件集成到 Eclipse 中: - 下载适合版本的 `hadoop-eclipse-plugin-x.x.x.jar` 文件。 - 将该插件放置于 Eclipse 的 `dropins` 目录下而非 `plugins` 目录(某些情况下仅放置在 `plugins` 不生效)[^3]。 - 重启 Eclipse 应用程序以加载新安装的插件。 #### 3. 配置 Hadoop 环境 完成插件部署后,还需进一步设置 Hadoop 环境参数: - 转至 `Window -> Preferences`,确认左侧导航树中是否存在 `Hadoop Map/Reduce` 条目[^2]。 - 如果条目存在,则点击右侧区域中的 `Browse` 按钮指定本地 Hadoop 主目录路径(应能访问到 `bin` 子文件夹),从而绑定开发工具与实际运行框架之间的关联关系。 #### 4. 解决日志显示问题 如果发现执行过程中无法通过控制台查看完整的 Map/Reduce 日志输出,可采取如下措施调整配置: - 找到当前使用的 Hadoop 版本对应的根目录下的 `/etc/hadoop/log4j.properties` 文件; - 复制此文件并将它粘贴到正在编辑的那个 Map/Reduce 工程里的 `src` 文件夹之中[^4]。 以上步骤完成后,应该能够在 Eclipse IDE 内部顺利定位以及调用 Map/Reduce 功能模块了。 ```python # 示例代码片段用于验证基本功能是否正常工作 from hadoop import mapreduce def mapper(key, value): yield key, value def reducer(key, values): return sum(values) if __name__ == "__main__": input_data = [("a", 1), ("b", 2)] output_data = mapreduce(input_data, mapper, reducer) print(output_data) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值