人生苦短,我用Python——五分钟带你了解map、reduce和filter(必看系列!!)

Python专题——五分钟带你了解map、reduce和filter 今天是Python专题第6篇文章,给大家介绍的是Python当中三个非常神奇的方法:map、reduce和filter。 不知道大家看到map和reduce的时候有没有什么感觉,如果看过之前我们大数据系列介绍MapReduce文章的同学,想必有些印象。这个MapReduce不是一个分布式的计算方法么,怎么又变成Python中的方法了?其实原因很简单,因为Python是一门很年轻的语言,它在发展的过... 阅读详情

Python专题——五分钟带你了解map、reduce和filter

 

今天是Python专题第NNNNN篇文章,给大家介绍的是Python当中三个非常神奇的方法:map、reduce和filter。

不知道大家看到map和reduce的时候有没有什么感觉,如果看过之前我们大数据系列介绍MapReduce文章的同学,想必有些印象。这个MapReduce不是一个分布式的计算方法么,怎么又变成Python中的方法了?其实原因很简单,因为Python是一门很年轻的语言,它在发展的过程当中吸收了很多其他领域的精华,MapReduce就是其中之一。

map

map除了地图之外,另一个英文本意是映射。在C++和Java一些语言当中,将map进一步引申成了存储key和value映射结构的容器。Python对这点做了区分,KV结构的容器命名成了dict,即字典,而map则回到了它的本意,也就是映射。

我们都知道,在数学领域,映射也是函数的定义。一个自变量通过某种映射,对应到一个因变量。同样,在Python当中,map操作本质也是函数,不过它作用的范围不再是单个变量,而是一个序列。换句话说,通过map我们可以省去循环操作,可以自动将一个容器当中的元素套用一个函数。

举个简单的例子,比如我们有一个坐标,我们希望知道它距离原点的距离。这个问题很简单,我们写一个计算距离的函数就可以解决:

def dis(point):
    return math.sqrt(point[0]**2 + point[1]**2)
复制代码

那如果我有多个点需要计算距离,在map出现之前,我们只能用循环来解决问题:

points = [[0, 1], [2, 4], [3, 2]]

for point in points:
    print(dis(point))
复制代码

但是有了map之后, 我们可以省去循环的操作,整个代码简化成了一行:

map(dis, points)
复制代码

但是要注意,我们调用完map之后得到的结果不是一个list而是一个迭代器。我们直接将map返回的内容print出来,可以得到这样一个结果:

>>> print(map(dis, points))
<map object at 0x107aad1d0>
复制代码

这是一个类的标准输出,其实它返回的不是最后的结果,而是一个迭代器。我们在之前的文章当中已经介绍过了迭代器和生成器的相关概念,这里不多做赘述了,遗忘的同学可以点击下方链接回顾一下之前的内容:

Python——五分钟带你弄懂迭代器与生成器(免费领取Python自动化学习资料  工具,面试宝典面试技巧,加QQ群,785128166,群内还会大佬技术交流)

我们想要获得完整的内容也很容易,我们只需要将它转化成list类型即可:

>>> print(list(map(dis, points)))
[1.0, 4.47213595499958, 3.605551275463989]
复制代码

以上过程还可以进一步简化,还记得我们之前介绍过的匿名函数吗?由于dis函数在我们的程序当中只会在map中用到,我们完全没有必要单独创建一个函数,我们可以直接传入一个匿名函数搞定运算:

map(lambda x: math.sqrt(x[0]**2 + x[1] ** 2), points)
复制代码

简单总结一下,map操作其实执行的是一个映射。它可以自动地将一个序列当中的内容通过制定的函数映射成另一个序列,从而避免显式地使用循环来调用,在很多场景下可以大大地简化代码的编写,可以很方便地将一个序列整体转变成另一个结果。

reduce

相比于map,reduce的操作稍稍难理解一点点。它也是规定一个映射,不过不是将一个元素映射成一个结果。而是将两个元素归并成一个结果。并且它并不是调用一次,而是依次调用,直到最后只剩下一个结果为止。

比如说我们有一个数组[a, b, c, d]和一个函数f,我们计算reduce(f, [a, b, c, d])其实就等价于f(f(f(a, b), c), d)。和map不同的是,reduce最后得到一个结果,而不是一个迭代器或者是list。

我们光说有些抽象,不妨来看一个例子,就看最简单的一个例子:reduce函数接收两个数,返回两个数的和。那么显然,我们依次调用reduce,得到的就是原数组的和。

from functools import reduce

def f(a, b):
    return a + b
    
print(reduce(f, [1, 2, 3, 4]))
复制代码

最终得到的结果当然是10,同样,我们也可以将reduce中的方法定义成匿名函数,一样不影响最终的结果。

print(reduce(lambda x, y: x + y, [1, 2, 3, 4]))
复制代码

MapReduce

既然我们map和reduce都有了,显然我们可以将它们串联起来使用,也就是分布式系统当中MapReduce的做法。虽然如果不手动使用线程池的话,Python并不会起多个线程来加速运算,但是至少可以简化我们实现的代码。我们还是举经典的wordCount的例子,也就是文本计算词频。

套用map和reduce的功能,整个流程非常清晰,我们只需要在map阶段对文本进行分词,在reduce阶段对分词之后的结果进行汇总即可。

听着好像非常容易,但是你实际去上手是写不出来的。原因也很简单,因为hadoop当中的Map和Reduce中间还有一层shuffle的操作,会自动地将key值相同的结果放到同一个reducer当中。在这个问题当中,key自然就是我们的word,由于相同的word被放到同一个reducer当中,我们只需要累加就行了。但是如果我们自己编写mapreduce的话,由于缺少了中间数据重排的步骤,所以导致不能实现。

要解决也简单,我们可以人为增加一个map阶段代替hadoop当中的重排。相当于做了一个MapMapReduce,我们来看代码:

from collections import Counter, defaultdict

texts = ['apple bear peach grape', 'grape orange pear']

# 第一次map,将字符串转成数组,每个单词对应1
def mp1(text):
    ret = []
    words = text.split(' ')
    for word in words:
        ret.append((word, 1))
    return ret


# 第二次map,将数组转成dict
def mp2(arr):
    d = defaultdict(int)
    for k, v in arr:
        d[k] += v
    return d

# reduce,合并dict
def rd(x, y):
    x.update(y)
    return x

print(reduce(rd, map(mp2, map(mp1, texts))))
复制代码

那如果我们不用多次MapReduce呢?也不是没有办法,需要取点巧,方法也简单只要使用之前我们讲解过的Counter类,就可以完美解决这个问题。我们来看代码:

from collections import Counter

texts = ['apple bear peach grape', 'grape orange pear']

def mp(text):
    words = text.split(' ')
    return Counter(words)

print(reduce(lambda x, y: x + y, map(mp, texts)))
复制代码

由于我们使用了Counter,所以我们在map阶段返回的结果就已经是词频的dict了,而在reduce阶段我们只需要将它们全部累加起来就OK了。

最后,我们来看下filter。

filter

filter的英文是过滤,所以它的使用就很明显了。它的用法和map有些类似,我们编写一个函数来判断元素是否合法。通过调用filter,会自动将这个函数应用到容器当中所有的元素上,最后只会保留运行结果是True的元素,而过滤掉那些是False的元素。

举个例子,假设我们想要保留list当中的奇数而过滤掉偶数,我们当然可以直接操作,比如:

arr = [1, 3, 2, 4, 5, 8]

[i for i in arr if i % 2 > 0 ]
复制代码

而使用filter会非常方便:

list(filter(lambda x: x % 2 > 0, arr))
复制代码

从这个例子当中可能看不出便捷,但是有的时候判断的条件可能非常复杂,我们判断的逻辑不能简单地在list定义当中表达出来,这个时候使用filter则会容易得多。

最后, 我们再看一个类似的用法。在itertools当中有一个方法叫做 compress,通过compress我们可以实现根据一个序列的条件过滤另一个序列。

举个简单的例子,假设,我们有两个数组:

student = ['xiaoming', 'xiaohong', 'xiaoli', 'emily']
scores = [60, 70, 80, 40]
复制代码

我们想要获取所有考试及格的同学的list,如果用常规做法基本上免不了使用循环,但是使用compress可以很方便地通过一行代码实现:

from itemtools import compress

>>> pass = [i > 60for i in scores]
>>> print(pass)
[False, True, True, False]

>>> list(compress(student, pass))
['xiaohong', 'xiaoli']
复制代码

需要注意的是filter和compress返回的都是一个迭代器,我们要获取它们的值,需要手动转换成list。

虽然在日常的开发当中不使用这三样神器同样可以工作,但是用上它们之后,会提升很多代码的可读性,节省很多无用的代码。尤其是在面试的时候,很有可能就会给面试官留下不一样的印象,也许结果也会不同。

今天的文章就是这些,如果觉得有所收获,请顺手点个赞吧,关注我,每天几篇小文章,进步 的 不只是一丢丢!

Python lambda函数实战指南:从语法陷阱到高阶应用 Lambda表达式是Python中轻量级的匿名函数构造机制,本质为单表达式求值器,而非完整函数对象。其核心原理在于仅支持表达式(如三元运算)、不可包含语句(如print/raise)、依赖外部作用域但禁止赋值修改。技术价值体现在代码减负、高阶函数(map/filter/sorted)协同及配置灵活性上,广泛应用于数据清洗、API响应处理、日志解析与排序逻辑等工程场景。本文结合真实项目案例,深入剖析闭包陷阱、迭代器消耗、堆栈丢失等高频问题,并提供partial、operator、惰性配置等进阶实践方案。 阅读详情

相关推荐

网易大数据开发笔试考点复盘:从Java到Hive/Spark一次讲清

大数据开发工程师是连接底层存储计算与上层业务分析的关键角色,其核心能力体现在对分布式系统原理的深刻理解与工程落地能力。在技术面试与笔试中,Hadoop生态、Spark计算引擎、Hive数据仓库以及数据倾斜处理是高频考察点。理解HDFS副本放置策略、MapReduce Shuffle机制、Spark宽窄依赖与reduceByKey预聚合原理,不仅能应对概念题,更能解决真实集群中的性能瓶颈。数据仓库建模与窗口函数则支撑离线分析场景。以网易大数据开发校招笔试为样本,复盘从Java基础、JVM内存到分布式算法规避、

weixin_34416649的博客 612

前端面试题:JS中filter()、reduce()、map()使用方法和区别~

filter()方法创建一个新数组,新数组中的元素是通过过滤筛选指定数组中符合条件的所有元素 filter不会对空数组进行过滤 filter不会改变原数组 用法 var arr = [ {name:"张三",age:14}, {name:"李四",age:19}, {name:"王五",age:20}, ] let _arr = arr.filter(function(_a){ //这个参数代表数组中的参数 return _a.age>18 })

weixin_48491416的博客 1425

CARLA行为准则中国化:交通规则、仿真引擎与国标适配的三维重构

自动驾驶仿真中的行为准则,本质是交通规则在虚拟环境中的可计算表达。其核心原理在于将现实路权逻辑、信号灯语义、行人交互范式等抽象为可编程决策模型,并通过仿真引擎(如CARLA)实现闭环验证。技术价值体现在提升仿真真实性与测试有效性,支撑高校算法复现、车企HIL验证及ADAS功能合规性评估。典型应用场景包括环岛通行权建模、施工区动态避让、电动车穿行风险预测等中国特有工况。本文聚焦CARLA行为模型的本土化重构,深度融合GB/T 37353-2019与JTG B01-2014等国标规范,实现从欧标框架到中国驾驶认

davy57345的博客 633

Python 内置函数 filter()、map()、reduce()的使用对比

前言 filter(), map(), reduce()三个内置函数在我们数据过滤、清洗和映射中发挥着重要的作用 1.filter(function, iterable) function -- 判断函数。 iterable -- 可迭代对象。 你可以把 filter 当成一个过滤器,用来选择原来 list 中满足特定条件的 value def f(x): return x %...

Bonus爹地的博客 505

AI编排实战:MuleSoft+LangChain构建企业级AI工作流

AI编排(AI Orchestration)是连接大模型能力与企业遗留系统的关键枢纽,其核心在于解决数据孤岛、模型调度与业务集成三大断层。它并非新AI模型,而是面向生产环境的工作流调度中枢,通过协议适配、安全治理、多模型协同与结构化输出,实现从原始数据到可执行业务动作的端到端闭环。在金融、保险、SaaS等强合规、多系统场景中,AI编排支撑客户流失预警、智能邮件生成、风险自动研判等高频需求。本文聚焦MuleSoft与LangChain双引擎协同实践,覆盖RFC/SOAP对接、字段级脱敏、RAG增强推理、Sal

weixin_30700977的博客 389

JavaScript开发中的真实困扰与系统性解法

JavaScript作为前端核心语言,其动态性、弱类型与单线程特性在赋予灵活性的同时,也带来了运行时不确定性、异步错误难捕获、内存泄漏隐匿等基础性挑战;结合前端工程化生态的快速演进(如Vite/React Query/微前端)与真实协作场景中需求多变、技术债累积、人员流动等现实约束,三者共同构成‘语言+生态+人’的三角张力;这种张力使得许多问题无法靠单一技巧或工具解决,而需分层治理——从L0运行时防御(如safeAwait、useLifecycle)、L1领域驱动组织、到L2环境契约与L3特征开关演进;本文

dejz8829的专栏 559

filter过滤和reduce()方法

filter过滤 就是将想要的内容进行筛选,不要的内容去除,最终返回想要的内容 let arr = [1,2,3,4,5,6,7,8,9] //filter过滤,就是将想要的内容进行筛选,不要的内容去除,最终返回想要的内容 let result = arr.filter((item, index)=>{ if(item%2==0){ //通过返回true还是false进行选择,true就是想要, false就 return true; }else{ return false; } }

weixin_51332774的博客 1665

Python中reduce函数的使用方法及案例分享

在Python编程中,reduce函数是一个非常实用的函数,它可以将一个序列中的所有元素进行合并为一个结果。在这篇文章中,我们将会详细介绍reduce函数的使用方法,并且通过一些实际的案例来说明它的实际应用。在上述代码中,我们定义了一个lambda表达式,用于将两个相邻的字符串连接为一个带空格的字符串,从而实现将字符串列表中所有元素拼接起来的功能。在上述代码中,我们将lambda表达式作为reduce函数的第一个参数,用于将两个相邻的元素相加,从而实现序列元素之和的计算。一、reduce函数的基本语法。

. 1648

c++ map用法_Python专题——五分钟带你了解map、reduce和filter

点击上方蓝字,和我一起学技术。今天是Python专题第6篇文章,给大家介绍的是Python当中三个非常神奇的方法:map、reduce和filter。不知道大家看到map和reduce的时候有没有什么感觉,如果看过之前我们大数据系列介绍MapReduce文章的同学,想必有些印象。这个MapReduce不是一个分布式的计算方法么,怎么又变成Python中的方法了?其实原因很简单,因为Pyt...

weixin_39928736的博客 200

Python执行MapReduce测试

Python执行MapReduce测试,python编写map和reduce程序,并验证测试

基于单片机负载控制的无人机电气设备监测系统设计

为深入分析无人机电气设备的电子负载性能,实现对传输电子量的合理性监管与控制,设计基于单片机负载控制的无人机电气设备监测系统;利用电气信号发生电路,构建负载网络控制器与以太网模块运行所需的电气设备负载环境,借助PCB监控板建立PLC扩展负载模块与核心监控主机之间的物理连接关系,实现无人机电气设备监测系统的硬件执行环境搭建;在此基础上,通过STM32型单片机移植协议,确定无人机电气设备通信主机的现有组态形式,联合已设定的监控任务有线级条件,实现监测系统的软件执行环境搭建,完成基于单片机负载控制的无人机电气设备监

weixin_45905610的博客 1301

计算map代码_Python专题——五分钟带你了解map、reduce和filter

今天是Python专题第6篇文章,给大家介绍的是Python当中三个非常神奇的方法:map、reduce和filter。不知道大家看到map和reduce的时候有没有什么感觉,如果看过之前我们大数据系列介绍MapReduce文章的同学,想必有些印象。这个MapReduce不是一个分布式的计算方法么,怎么又变成Python中的方法了?其实原因很简单,因为Python是一门很年轻的语言,它在发展的过程...

weixin_30120827的博客 127

数字IC设计——功耗分析

功耗是数字IC芯片的一个重要指标

知识,既贵,又便宜。 9374

winform point数组带数值_Python专题——五分钟带你了解map、reduce和filter

本文始发于个人公众号:TechFlow,原创不易,求个关注今天是Python专题第6篇文章,给大家介绍的是Python当中三个非常神奇的方法:map、reduce和filter。不知道大家看到map和reduce的时候有没有什么感觉,如果看过之前我们大数据系列介绍MapReduce文章的同学,想必有些印象。这个MapReduce不是一个分布式的计算方法么,怎么又变成Python中的方法了?其实原因...

weixin_39706441的博客 91

从SGX到TDX:英特尔机密计算的技术演进与选型指南

本文深入解析了英特尔两代机密计算技术SGX与TDX的核心差异与选型策略。SGX提供应用级飞地隔离,安全等级高但开发复杂;TDX提供虚拟机级信任域保护,兼容性好且易于部署。文章结合金融与医疗行业实战案例,为开发者提供了清晰的选型指南,帮助根据代码可改性、安全需求、部署规模及生态成本选择最合适的机密计算方案。

java5的博客 424

StarUML最新版汉化与破解二合一教程:5分钟搞定永久使用

本文提供StarUML最新版的高效使用指南,涵盖从安装到深度定制的全流程优化方案。包括软件获取最佳实践、界面个性化设置、核心建模技巧、团队协作策略及性能优化建议,帮助架构师和开发团队提升UML建模效率。特别推荐版本控制集成和文档自动化输出方案,适用于各类规模的项目开发。

weixin_42530732的博客 456

python 函数式编程包_Python——五分钟理解函数式编程与闭包!

函数式编程函数式编程这个概念我们可能或多或少都听说过,刚听说的时候不明觉厉,觉得这是一个非常黑科技的概念。但是实际上它的含义很朴实,但是延伸出来许多丰富的用法。在早期编程语言还不是很多的时候,我们会将语言分成 高级语言与低级语言 。比如汇编语言,就是低级语言,几乎什么封装也没有,做一个赋值运算还需要我们手动调用寄存器。而高级语言则从这些面向机器的指令当中抽身出来,转而面向过程或者是对象。也就是说我...

weixin_39624332的博客 103

Unity内存优化:从崩溃到流畅的终极指南

Emscripten 为 WebAssembly 设定的内存布局(Static、Stack 和 Heap)为开发者提供了一个清晰的内存管理框架。理解这些内存区域的特性和用途,有助于开发者在 WebGL 项目中更有效地管理内存,优化性能,减少内存使用峰值。在 Unity WebGL 中,Dynamic Memory 是 UnityHeap 的主要组成部分,负责存储游戏运行时所需的各种数据。Dynamic Memory 主要分为两类:Managed Memory 和 Native Memory。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 358

告别平庸循环:Python匿名函数、高阶函数与递归一网打尽,面试再也不虚

回想一下,你是否曾经在阅读开源项目源码时,突然被一行lambda表达式卡住,盯着看了五分钟还是没明白它到底想干什么?或者在团队代码审查中,面对同事写的这种链式调用,心里默默吐槽“这写的什么鬼”,然后自己又用三个for循环重写了一遍?又或者,在面试官面前信心满满地讲解算法,结果一被问到“用reduce实现一个累乘”就瞬间短路?这不是你一个人的痛点。很多 Python 开发者(包括曾经的我)对匿名函数、高阶函数、递归的理解都停留在“知道有这个东西,但一写就错,一读就懵”的程度。

2401_84107944的博客 238

五种雷达波束模式简介及其应用场景

方位角和仰角都很窄的光束(像铅笔一样细);用于三维雷达,如仪表雷达、天气雷达和防空雷达。

珞瑜的博客 3573

SCADA|KIO程序导出变量错误处理办法

雷工在使用KingSCADA3.52软件导出KIO变量时,遇到导出Excel格式文件报错的问题,错误提示为“ADODB.Connection未找到提供程序”。经过咨询技术人员,发现该功能需要安装Office软件,并与已安装的WPS软件兼容。雷工随后安装了Office2021版本,并进行了兼容性设置。安装过程中遇到无法启动的问题,通过删除安装目录、清理注册表、使用卸载软件和重启电脑等方法解决。安装完成后,雷工在WPS中设置了与Microsoft Office2003兼容的模式,最终成功解决了导出变量时的问题。

做有价值的事,积累有价值的笔记! 957

AI编排实战:用MuleSoft打通大模型与企业系统

AI编排(AI Orchestration)是将大语言模型能力安全、可控、可审计地嵌入现有业务流程的关键技术,其核心在于解决LLM与ERP/CRM等企业系统之间的认证断层、数据语义鸿沟与治理合规挑战。它并非替代LangChain等AI框架,而是通过API网关级的协议转换、字段级数据脱敏、OAuth2.0令牌全生命周期管理及事务化消息路由,构建‘AI-就绪’的数据管道。该技术显著提升销售智能助手、客户流失预警、工单情绪分析等场景的落地稳定性与响应实时性,尤其适用于已具备SAP、Salesforce、Oracl

赵士杰的博客 372

全覆盖路径规划开源项目Clean-robot-turtlebot3关键函数解析(下)

本系列文章主要介绍全覆盖路径规划开源项目Clean-robot-turtlebot3的相关内容,包含如下四篇文章,分别介绍了开源项目Clean-robot-turtlebot3流程的概括总结、ROS坐标系常用坐标及其变换、Clean-robot-turtlebot3关键函数解析等内容。

慕羽★的博客 2301

Qwerty Learner:免费高效的英语打字肌肉记忆训练软件

在数字时代,英语打字能力已成为键盘工作者的核心竞争力。然而,许多人在输入英语时常常遇到"提笔忘字"的尴尬——明明认识的单词,手指却无法流畅敲击。这正是**肌肉记忆**与**语言记忆**未能同步造成的典型现象。Qwerty Learner 正是为解决这一痛点而生,它将单词记忆与键盘肌肉记忆训练完美结合,帮助用户建立"看到即能打出"的条件反射。 ## 🎯 核心理念:双轨并进的肌肉记忆重塑 我们相

gitblog_00238的博客 407

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Claude Code 接入 Kimi 的原理与中间件实现方案

大模型API服务本质上是协议、认证与数据格式高度耦合的技术栈。不同厂商如Anthropic与月之暗面(Kimi)在HTTP头、Endpoint路径、消息体结构(嵌套content vs 字符串content)、流式响应格式(SSE content_block_delta vs delta.content)及工具调用机制上存在根本性差异。这种不兼容性决定了‘直接切换模型’不可行,而必须通过协议翻译中间件实现跨平台适配。Node.js凭借其与VS Code的原生协同、成熟的SSE流处理能力及轻量event lo

chuozhi7142的博客 436

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: 人生苦短,我用Python——详解enumerate和zip(今天也是满满干货)
下一篇: 人生苦短,我用Python——详解collections工具库
测试小小小
博客等级 码龄6年 265粉丝 364原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值