【python】WHY PYTHON?！

view1994 view1994 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 600+累计阅读 675平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄8年
关注
原创 最新推荐文章于 2025-07-31 16:58:25 发布 675 阅读 AI 写同款· GEO 优化 ›
因果推断之微软开源的dowhy使用学习 因果推理是基于观察数据进行反事实估计，分析干预与结果之间的因果关系。DoWhy是微软发布的端到端基于一定经验假设的基础上，将问题转化为因果图，验证假设。提供因果推断的接口，整合了两种因果框架。DoWhy支持对后门、前门和工具的平均因果效应的估计，自动验证结果的准确性、鲁棒性较高。利用假设（先验知识）对因果推断问题建模。在假设（模型）下识别因果效应的表达式（因果估计量）。使用统计方法对表达式进行估计。使用各种鲁棒性检查来验证估计的正确性。 阅读详情

WHY PYTHON!

目录

历史—-计算机的发展阶段

  • 1946年 计算机诞生
    1946-1981 ：计算机系统结构时代，不同类型计算机&系统结构，解决计算能力问题
  • 1981年 PC诞生
    1981-2008 ：网络&视窗时代,互联网&视窗操作系统，解决人与计算机&计算机间交互问题
  • 2008年 Android操作系统诞生
    2008-2016 ：复杂信息系统时代，解决数据问题
  • 2016年 计算机打败世界围棋冠军
    2017-未来 ：人工智能时代,解决人类问题

未来->大量计算需求

编程语言概览

世界上存在着超过600多种编程语言，代表性语言如下：

语言关注点本质解决问题
C语言指针、内存、数据类型理解计算机系统结构性能、写操作系统
JAVA面向对象、跨平台、运行时理解主客体关系跨平台和程序类交互问题
C++对象、多态、继承理解主客体关系大规模程序、大规模图像处理
VB对象、控件理解人机交互逻辑桌面应用
pyhton编程逻辑、第三方库理解问题求解各类问题

未来计算环境：计算机性能不再是解决一般问题的瓶颈，移动互广泛普及，大数据、云计算、物联网、信息安全、人工智能需求爆发，日益增长的计算需求，选择python！

python特点

通用、简洁、生态

  • 通用语言
  • 脚本语言
  • 开源
  • 跨平台

  • 多模型语言

  • 语法简洁：代码量是C的10%，强制可读性，较少的底层语法元素，支持多种编程方式，支持中文字符；

  • 生态高产：拥有快速增长的计算生态，超过13W的第三方库，避免重复造轮子，代码开方共享，且可跨操作系统平台。

python是最高产的程序设计语言！
机器语言：二进制文件 代码直接执行
↓
汇编语言：有助记符，需要汇编器
↓
高级语言：接近自然语言，需要编译器
↓
超级语言：python，粘性整合已有程序，具备庞大的计算生态

what can we do with python?

使用python我可以做什么？什么都可以！从数据处理到人工智能、从web解析到网络空间、从人机交互到艺术设计，三大方向，都有好用的第三方库支持！

1.从数据处理到人工智能

从数据处理到人工智能大致分为以下步骤：

  1. 数据表示：采用合适的方式用程序表达数据源
  2. 数据清洗：数据归一化、数据转换、异常值处理
  3. 数据统计：数据的概要理解，数量、分布、中位数等
  4. 数据可视化：直观展示数据内涵的方式
  5. 数据挖掘：从数据分析获得知识，生产数据外的价值
  6. 人工智能：数据/语言/图像/视觉等方面深度分析与决策

以上六步骤涉及的主要技术点有：数据分析、数据可视化、文本处理、机器学习
python针对各项技术都有优秀的第三方库可直接使用，如下：

  • 数据分析：

    Numpy:表达N维数组的最基础库。
    使用C语言实现，计算速度快，是python数据分析及科学计算的基础库，支撑Pandas等库；直接提供矩阵运算、广播函数、线性代数等功能。

    Pandas：python数据分析高层次应用库。
    提供简单易用的数据结构和数据分析工具；理解数据类型与缩影的关系，操作索引即操作数据；是python最主要的数据分析功能库，基于Numpy开发。

    SciPy：数学、科学和工程计算功能库
    提供了一批数学算法及工程数据运算功能；类似Matlab，可用于如傅里叶变换、信号处理等应用；是Python最主要的科学计算功能库，基于Numpy开发。

  • 数据可视化：

    Matplotlib：高质量的二维数据可视化功能库
    提供了超过100种数据可视化展示效果；通过matplotlib.pyplot子库调用各可视化效果；是python最主要的数据可视化功能库，基于Numpy开发。

    Seaborn：统计类数据可视化功能库
    提高了一批高层次的统计类数据可视化展示效果；主要展示数据间分布、分类和线性关系等内容；基于Matplotlib开发，支持Numpy和Pandas。

    Mayavi：三维科学数据可视化功能库
    提供了一批简单易用的3D科学计算数据可视化展示效果；目前（Mayavi2）是三维可视化最主要的第三方库；支持Numpy、TVTK、Traits、Envisage等第三方库。

  • 文本处理：

    PyPDF2：用来处理PDF文件的工具集
    提供了一批处理PDF文件的计算功能；支持获取信息、分割、整合文件、加密接口等；完全Python语言实现，不需要依赖其他第三方库，功能稳定。

    NLTK：自然语言文本处理第三方库
    提高了一批简单易用的自然语言文本处理功能；支持语言文本分类、标记、语法句法、语义分析等；是最优秀的python自然语言处理库。

    Python-docx：创建或更新MicrosoftWord文件的第三方库
    提供创建或更新.doc .docx等文件的计算功能；增加并配置段落、图片、表格、文字等，功能全面。

  • 机器学习：
    Scikit-learn：机器学习方法工具集
    提供一批统一化的机器学习方法功能接口；提供聚类、分类、回归、强化学习等计算功能；是机器学习最基本且最优秀的python第三方库。

    TensorFlow：AlphaGo背后的机器学习计算框架
    谷歌公司推动的开源机器学习框架；将数据流作为基础，图解点代表运算，边代表张量；是应用机器学习方法的一种方式，支撑谷歌人工智能应用。

    MXXNet：基于神经网络的深度学习计算框架
    提供可扩展的神经网络及深度学习计算功能；可用于自动驾驶、机器翻译、语音识别等众多领域；是python最重要的深度学习计算框架。

小结：
从数据处理到人工智能可能用到的第三方库如下，要想实现本路线功能，每一类至少需熟练掌握一个第三方库：

  • 数据分析：Numpy、Pandas、SciPy
  • 数据可视化：Matplotlib、Seaborn、Mayavi
  • 文本处理:PyPDF2、NLTK、python-doc
  • 机器学习：Scikit-learn、TensorFlow、MXNet

2.从WEB网页到网络空间

  • 网络爬虫

    Requests：最友好的网络爬虫功能库
    提供了简单易用的类HTTP协议网络爬虫功能；支持连接池、SSL、Cookies、HTTP(S)代理等；是python最主要的页面级网络爬虫功能库。

    Scrapy:python数据分析高层次应用库
    提供了构建网络爬虫系统的框架功能，功能半成品；支持批量和定时网页爬取、提供数据处理流程等；是python最主要且最专业的网络爬虫框架。

    pyspider：强大的web页面爬取系统
    提供了完整的网页爬取系统构建功能；支持数据库后端、消息队列、优先级、分布式架构等；python重要的网络爬虫类第三方库。

  • web信息提取

    Beautiful Soup：HTML和XML的解析库
    提供了解析HTML和XML等web信息的功能；又名beautifulsoup4或bs4，可以加载多种解析引擎；常与网络爬虫库搭配使用，如Scrapy、requests等。

    Re:正则表达式解析和处理功能库
    提供了定义和解析正则表达式的一批通用功能；可用于各类场景，包括定点的web信息提取；是python最主要的标准库之一，无需安装。

    Python-Goose：提取文章类型web页面的功能库
    提供了对web页面中文章信息、视屏等元数据的提取功能；针对特定类型web页面，应用覆盖面较广；是python最主要的web信息

  • web网站开发

    Django：最流行的web应用框架
    提供了构建web系统的基本应用框架；MTV模式：模型（model）+模板（template）+视图（views）；是python最主要的web应用框架，略微复杂的应用框架。

    Pyramid：规模适中的web应用框架
    提供了简单方便构建web系统的应用框架；不大不小，规模适中，适合快速构建并适度扩展类应用；是python产品级web应用框架，起步简单扩展性好。

    Flask：web应用开发微框架
    提供了最简单构建web系统的应用框架；特点是简单、规模小、快速；体积：Django > Pyramid > Flask.

    WeRobot:微信公众号开发框架
    提供了解析微信服务器消息及反馈消息的功能；建立微信机器人的重要技术手段。

  • 网络应用开发

    aip：百度AI开放平台接口
    提供了访问百度AI服务的python功能接口；语音、人脸、OCR、NLP、知识图谱、图像搜索等领域；python百度AI应用的最主要方式。

    MyQR：二维码生成第三方库
    提供了生成二维码的系列功能；基本二维码、艺术二维码和动态二维码。

小结：

  • 网络爬虫:Requests、Scrapy、pyspider;
  • web信息提取：Beautiful Soup、Re、Python-Goose;
  • web网站开发：Django、Pyramid、Flask;
  • 网络应用开发：WeRobot、aip、MyQR;

3.从人机交互到艺术设计

  • 图形用户界面

    PyQt5：Qt开发框架的python接口
    提供； 创建Qt5程序的python API接口；Qt是非常成熟的跨平台桌面应用开发系统，完备GUI；推荐的python GUI开发第三方库。

    wxPython：跨平台GUI开发框架
    提供了专用于python的跨平台GUI开发框架；理解数据类型与索引的关系，操作索引即操作数据；python最主要的数据分析功能库，基于Numpy开发。

    PyGObject：使用GTK+开发GUI的功能库
    提供了整合GTK+、WebKitGTK+等库的功能；GTK+：跨平台的一种用户图形界面GUI框架；实例：Anaconda采用该库构建GUI。

  • 游戏开发

    PyGame：简单的游戏开发功能库
    提供了基于SDL的简单游戏开发功能及实现引擎；理解游戏对外部输入的响应机制及角色构建和交互机制；python游戏入门最主要的第三方库。

    Panda3D:开源、跨平台的3D渲染和游戏开发库
    一个3D游戏引擎，提供python和C++两种接口；支持很多先进特性：法线贴图、光泽贴图、卡通渲染等；由迪士尼和卡尼基梅隆大学共同开发。

    cocos2d：构建2D游戏和图形界面交互式应用的框架

  • 虚拟现实

    VR Zer：在树莓派上开发VR应用的python库
    提供大量与VR开发相关的功能；针对树莓派的VR开发库，支持设备小型化，配置简单化；非常适合初学者实践VR开发及应用。

    pyovr：Oculus Rift的python开发接口
    针对Oculus VR设备的python开发库；基于成熟的VR设备，提供全套文档，工业级应用设备；python+虚拟现实领域探索的一种思路。

    Vizard：基于python的通用VR开发引擎
    专业的企业级虚拟现实开发引擎；提供详细的官方文档；支持多种主流的VR硬件设备，具有一定通用性。

  • 图形艺术

    Quads：迭代的艺术
    对图片进行四分迭代，形成像素风；可以生成动图或静图图像；简单易用，具有很高展示度。

    ascii_art：ASCII艺术库
    将普通图片转为ASCII艺术风格；输出可以是纯文本或彩色文本；可采用图片格式输出。

    turtle：海龟绘图体系
    简单！

小结：

  • 图像用户界面：PyQt5、wxPython、PyGObject
  • 游戏开发：PyGame、Panda3D、cocos2d
  • 虚拟现实：VR Zer、pyovr、Vizard
  • 图形艺术：Quads、ascii_art、turtle

更多第三方库，去awesome-python.com中去查。

收录于
python

当前文章被收录于：

python
12 篇文章 0 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
数据科学中Why思维：从问题定义到业务价值落地 在数据科学实践中，'Why'（为什么）代表对业务目标、因果机制与真实约束的深度理解，而非仅关注算法实现（How）。其核心原理在于：模型失效多源于问题错解、数据与业务脱节或评估指标失真，而非技术缺陷。这种思维带来关键价值——提升模型可解释性、降低返工率、增强跨团队协同效率，并确保技术方案直击业务痛点。典型应用场景包括风控误拒归因、推荐系统效果衰减诊断、GMV预测转向SKU级销量建模等。本文聚焦数据科学Why思维的方法论体系，涵盖问题溯源、归因验证、机制推演与数据映射四层结构，以及Why检查清单、反向推导工作坊 阅读详情

相关推荐

dowhy微软Python实现

2011年图灵奖获得者朱迪亚.珀尔DoWhy实现，实现者微软，实现语言Python

DoWhy,一个具有因果关系神奇python库

DoWhy是一个用于因果推断的Python库,旨在帮助用户评估因果推断问题,它允许用户指定因果图来推断因果效应,并提供了一种处理潜在因果推断问题的框架.

python茶水实验室 896

DoWhy是用于因果推断的Python库，它支持对因果假设进行显式建模和测试。 DoWhy基于用于因果推理的统一语言，结合了因果图形模型和潜在结果框架。-Python开发

DoWhy是一个Python库，可轻松估算因果关系。 DoWhy基于用于因果推理的统一语言，结合了因果图形模型和潜在结果框架。 为什么 使因果推理变得容易Amit Sharma，埃姆雷·基西曼（Emre Kiciman）阅读文档| 在线尝试！ 博客文章：DoWhy简介| 使用Do-sampler由于计算系统越来越频繁地并更加积极地介入社会关键领域，例如医疗保健，教育和治理，因此正确预测和理解这些干预措施的因果关系至关重要。 没有A / B测试，基于模式识别和相关性的传统机器学习方法

Python根据已有数据构建因果关系图，进行推断示例：python使用causallearn，dowhy库

该图描述了不同变量之间的关系，箭头表示初始变量对结果变量的因果效应（causal effect），上面的值表示效应大小。该教程目的是通过已有数据，挖掘它们内部的因果联系。

m0_59158092的博客 2758

Python-DoWhy微软出品的Python因果推断库

DoWhy is a Python library that makes it easy to estimate causal effects. DoWhy is based on a unified language for causal inference, combining causal graphical models and potential outcomes frameworks.

Why I Love Python

Bruce Eckel, Thinking C++, Thinking in Java 的作者讲解自己为什么喜欢Python, 并用作第一开发语言

DoWhy：Python 中的因果推断库

DoWhy 是一个强大的 Python 库，用于因果推断和因果推断分析。本文将介绍 DoWhy 的基本概念、主要功能和使用方法，帮助读者了解如何利用该库进行因果推断，并解决因果关系的相关问题。

爱编程的鱼的博客 2898

因此推理DoWhyPython实现

2011年图灵奖获得者朱迪亚.珀尔DoWhy实现，实现者Shyamalschandra，实现语言Python。

WHAT、HOW、WHY

一般来说，只有当你【深刻理解】了某个东西，才能够针对这个东东的【设计】问出一些问题。所以，我前面强调过，要先把 HOW 的问题搞清楚，再来考虑 WHY 的问题。如果你能够【自己】问出诸如上述的“为什么”问题，并且能够通过各种途径找到解答，那你基本上已经吃透这个技术了，并且你已经【有可能】自己去【设计】一个类似的玩意儿了。在这个层次，你要搞清楚某个东东是【什么】样子的？在这个层次，你要搞清楚某个东西，其内部是【如何】运作的？所谓的“WHY”，就是搞清楚某个东西【为什么】设计成这样？【为什么】不是另外的样子？

ipangci的博客 375

DoWhy - 微软出品的Python因果推断库-python

DoWhy is a Python library that makes it easy to estimate causal effects. DoWhy is based on a unified language for causal inference, combining causal graphical models and potential outcomes frameworks. 做为什么| 使因果推理变得容易 Amit Sharma, Emre Kiciman 阅读文档 | 在线试试吧！ 博客文章：DoWhy 介绍 | 使用 Do-sampler 随着计算系统越来越频繁、更积极地干预医疗、教育和治理等社会关键领域，正确预测和理解这些干预的因果关系至关重要。 如果没有 A/B 测试，基于模式识别和相关分析的传统机器学习方法不足以进行因果推理。 就像机器学习库为预测所做的那样，“DoWhy”是一个 Python 库，旨在激发因果思维和分析。 DoWhy 为因果推理方法提供了统一的接口，并自动测试了许多假设，从而使非专家也可以进行推理。 有关因果推理的

Unity3D 简单水面shader的实现

实现思路 今天来实现一个简单的水面效果。水面的话主要是以下几个效果叠加 1.水面的动态波浪效果，我们这里使用最简单的正弦波加上法线贴图来模拟。如果想要更精确的波动效果可以考虑使用Gerstner波 2.不同水深颜色不同的效果，使用该顶点深度和顶点坐标的差值来计算深度，然后映射到颜色 3.浪涌效果，还是根据顶点深度和顶点坐标的差值来计算深度，然后叠加上一层浪涌 4.折射效果，用grabpass，采样之后进行偏移，最后叠加上去。 代码实现 首先是顶点位移函数，使用正弦函数代入顶点的x坐标和z坐标来算，因为这里写

o83290102o5的博客 1万+

Why Machines Learn.pdf

幸运的是，Why machines learn这本书就完全涵盖了这些内容。油管大神@borismeinardus指出，机器学习并不需要太多复杂的数学，许多内容都是可以基于一些最基本的概念去理解的。通过网盘分享的文件：Why-Machines-Learn.pdf。--来自百度网盘超级会员v6的分享。

分享科研过程中编写的原创代码~ 1461

蚁群算法（Ant Colony Optimization，ACO）讲解+代码实现

通常情况下，较优的解对应的路径上的信息素会被加强，而较差解对应的信息素则会减少或蒸发。的化学物质，这种物质会在蚂蚁走过的路径上留下痕迹，后续的蚂蚁会根据这些信息素的浓度来选择路径，从而形成一条从蚁巢到食物源的。在求解TSP蚁群算法中，每只蚂蚁相互独立，用于构造不同的路线，蚂蚁之间通过信息素进行交流，合作求解。的过程，该路段经过的蚂蚁越多，信息素留下的就越多，浓度越高，更多的蚂蚁都会选择这个路段。需要注意的是，蚁群算法是一种。（6）计算每只蚂蚁的总距离：遍历每只蚂蚁的路线，累加经过的城市之间的距离。

m0_73804764的博客 1万+

Why Python?

在昨天的文章中只提到了Go和Rust，Python留在今天好好的写一写。 我在大学时就开始学习Python，已有7,8年，但至今写的代码也不Pythonic。5年多前在Github上传的一个Python入门的代码，到现在已有一千多star，也算经历到Python变火的过程。 读大学时，因为对安全感兴趣，而Python就是做安全必备语言，就找了一本《Python核心编程》看了看。那个时候我主要是...

寻找自我的博客 691

【R】R画图不显示中文问题

系统mac os 11 RstutioVersion1.2.1335 RVersion3.6.2 画图里的中文一直显示成方框。 ggplot()+geom_point(aes(x=ta1$X2011年,y=ta1$X2012))+ xlab("2011年")+ylab("2021年") 解决方案： 使用showtext。 install.packages("showtext", repos = "https://mirrors.ustc.edu.cn/CRAN/") in...

weixin_41772125的博客 1万+

组态王通过以太网与西门子S7-200 SMART PLC通讯案例详解

通过以上步骤，我们成功实现了组态王与西门子S7-200 SMART PLC的以太网通讯。这一技术不仅提高了工业自动化系统的灵活性和可靠性，还为初学者提供了一个实用的学习案例。希望本文能帮助您快速掌握组态王与西门子S7-200 SMART PLC的通讯技术。如有任何疑问，欢迎留言讨论！

2401_88785500的博客 2004

What、How、Why

一般来说，只有当你【深刻理解】了某个东西，才能够针对这个东东的【设计】问出一些问题。所以，我前面强调过，要先把 HOW 的问题搞清楚，再来考虑 WHY 的问题。如果你能够【自己】问出诸如上述的“为什么”问题，并且能够通过各种途径找到解答，那你基本上已经吃透这个技术了，并且你已经【有可能】自己去【设计】一个类似的玩意儿了。在这个层次，你要搞清楚某个东东是【什么】样子的？在这个层次，你要搞清楚某个东西，其内部是【如何】运作的？所谓的“WHY”，就是搞清楚某个东西【为什么】设计成这样？【为什么】不是另外的样子？

ipangci的博客 279

解决k8s核心组件calico pod资源不创建问题

解决k8s核心组件calico pod资源不创建问题 1.问题描述 由于K8S集群Master节点故障，导致calico网络组件虽然处于Running状态，但是一直无法准备就绪，如下图所示 calico-node-lpt7h运行在master节点，第一时间紧急处理方法就是将其pod删除，让K8S自动重建该pod，使整个集群快速恢复 但是就当我将calico-node-lpt7h pod删除后，该pod始终无法自建，就好像是从来没有这个pod似的 2.解决方法 期初排查时，我觉得可能是由于当前master

江晓龙的博客 4806

学习技术的三部曲：WHAT、HOW、WHY

转自“编程随想”:http://program-think.blogspot.com/2009/02/study-technology-in-three-steps.html本帖国内镜像：http://blog.youkuaiyun.com/program_think/archive/2009/02/19/3908713.aspx 　　最近几天有些网友在邮件里面问我关于学习的问题。有好几个人觉得工作了几年，也学会了不少的类库、框架、甚至语言，但是感觉自己的能力没有太大的提 高。因此今天来说一下我个人对这方面的体会，

youngster21的专栏 609

半导体晶圆调平系统：基于最小二乘法的实现方案

基于最小二乘法的晶圆调平技术通过数学建模与工程实现的结合，解决了半导体量测中高精度平面对准的核心问题。实际应用中，需根据设备特性优化采样策略、校准传感器误差，并通过实时性优化满足高产能场景需求。该方案的模块化设计（如分离数据采集、拟合计算、补偿输出）也为后续功能扩展（如引入机器学习优化拟合模型）提供了灵活性。

品质生活，极致编程。 1177

目标跟踪与视频时序分析基础

两帧均有目标，却因快速移动导致检测框无重叠，仅靠交并比（IoU）无法维持身份关联。本文通过手算与纯Python实现最小跟踪流程，揭示IoU仅为位置线索，不能应对快速位移或遮挡。实验表明，即使目标真实存在，低重叠也会触发新编号。强调跟踪需结合运动预测、外观特征与阈值验证，避免误判。

Mr数据杨 2334

why python?

摘自：http://www.linuxjournal.com/article/3882 Apr 30, 2000  By Eric Raymondin Software Cardinal Biggles had Eric in the comfy chair for over four hours before wringing this confession from him... My first look at Python was an accident, and I didn

youngster21的专栏 1891

【推荐100个unity插件之8】实现多人在线联机游戏——Mirror插件的使用介绍（附项目源码）

基于Mirror的Unity多人游戏开发指南 本文介绍了使用Mirror插件开发Unity多人游戏的基本流程。Mirror是Unity的高级网络API，替代了已废弃的UNet系统。文章详细讲解了如何导入Mirror插件，创建NetworkManager网络管理器，处理常见错误，以及创建玩家角色和出生点。 主要内容包括： 创建场景NetworkManager并配置必要组件 为玩家添加NetworkIdentity和NetworkTransform组件 设置玩家初始生成位置和生成方式 常见错误及解决方法 通过M

向宇的博客，专注php/web全栈 unity游戏开发，欢迎大家评论纠错 1万+

why python

1、易学 2、测试中使用比较广泛 3、好用 a、开发效率高不是执行效率高 b、语言特性：简洁、抽象级高 c、丰富的标准库，开发起来相对容易 d、丰富的第三方库，框架 e、庞大的用户基数：丰富的社区支持 4、使用范围广泛 那些不适...

chuangju3476的博客 207

文档：亲测可用解决vnc灰屏，黑屏，鼠标大黑叉情况

主要解决vnc-viewer灰屏，黑屏，鼠标大黑叉等现象，详细见文档。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案

[转] 学习，思维三部曲：WHAT、HOW、WHY（通过现象看本质）

文章目录★第一步：WHAT★第二步：HOW★第三步：WHY先声明一下，本帖子讨论的三部曲是指你已经选定了某个技术方向之后，该如何学习；至于如何选定技术方向，则属于另一个话题，不在今天的讨论之列。我把学习归类为三个步骤：What、How、Why。经过我对周围同事和朋友的观察，大部分感觉自己技术没有提高的人，都仅仅停留在What阶段。下面我把这三个步骤解释一下。★第一步：WHAT“WHAT”也就是“W...

Master-TJ的个人博客 1万+

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")
上一篇： 二叉树
下一篇： 【markdown】来自cmd markdown的markdown使用指南
点赞 1
评论 0
书签 书签 2
view1994
view1994
博客等级 码龄8年 21粉丝 18原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值