强烈推荐!8个让 pandas 更高效的 option 设置

Python开发环境搭建指南:Anaconda与PyCharm高效配置实践 虚拟环境是Python开发中的核心概念,它通过隔离项目依赖解决库版本冲突问题。其原理是为每个项目创建独立的Python运行环境,确保依赖包互不干扰。这一技术价值在于提升开发效率和项目可复现性,广泛应用于数据分析、机器学习和Web开发等场景。通过环境管理器如conda,开发者可以轻松创建、切换和导出环境配置。本文以Anaconda和PyCharm为例,详细讲解如何搭建完整的Python开发工作流,涵盖Miniconda安装、虚拟环境创建、PyCharm集成配置等关键步骤,并分享环境导出、镜像源配置等实用技巧, 阅读详情

通过pandas的使用,我们经常要交互式地展示表格(dataframe)、分析表格。而表格的格式就显得尤为重要了,因为大部分时候如果我们直接展示表格,格式并不是很友好。

其实呢,这些痛点都可以通过pandas的option来解决。短短几行代码,只要提前配置好,一次设置好,全局生效,perfect!

# 使用方法
import pandas as pd
pd.set_option()
pd.get_option()

# 使用属性,例如展示的最大行数
pd.option.display.max_rows

东哥整理了8个常用的配置选项,供大家参考。记住这8个option代码,下次直接粘贴进去,效率可以提高很多,爽歪歪。

  • 显示更多行

  • 显示更多列

  • 改变列宽

  • 设置float列的精度

  • 数字格式化显示

  • 更改绘图方法

  • 配置info()的输出

  • 打印出当前设置并重置所有选项

1. 显示更多行

默认情况下,pandas 是不超出屏幕的显示范围的,如果表的行数很多,它会截断中间的行只显示一部分。我们可以通过设置display.max_rows来控制显示的最大行数,比如我想设置显示200行。

pd.set_option('display.max_rows', 200)
# pd.options.display.max_rows = 200

如果行数超过了display.max_rows,那么display.min_rows将确定显示的部分有多少行。因为display.min_rows的默认行数为5,,下面例子只显示前5行和最后5行,中间的所有行省略。

同理,也可根据自己的习惯显示可显示的行数,比如10, 20..

pd.set_option('display.min_rows', 10)
# pd.options.display.min_rows = 10

还可以直接重置。

# 重置
pd.reset_option('display.max_rows')

2. 显示更多列

行可以设置,同样的列也可以设置,display.max_columns控制着可显示的列数,默认值为20。

pd.get_option('display.max_columns') 
# pd.options.display.max_columns
20

3. 改变列宽

pandas对列中显示的字符数有一些限制,默认值为50字符。所以,有的值字符过长就会显示省略号。如果想全部显示,可以设置display.max_colwidth,比如设置成500。

pd.set_option ('display.max_colwidth',500)
# pd.options.display.max_colwidth = 500

4. 设置float列的精度

对于float浮点型数据,pandas默认情况下只显示小数点后6位。我们可以通过预先设置display.precision让其只显示2位,避免后面重复操作。

pd.set_option( 'display.precision',2)
# pd.options.display.precision = 2

这个设置不影响底层数据,它只影响浮动列的显示。

5. 数字格式化显示

pandas中有一个选项display.float_formatoption可以用来格式化任何浮点列。这个仅适用于浮点列,对于其他数据类型,必须将它们转换为浮点数才可以。

用逗号格式化大值数字

例如 1200000 这样的大数字看起来很不方便,所以我们用逗号进行分隔。

pd.set_option('display.float_format','{:,}'.format)

设置数字精度

和上面display.precision有点类似,假如我们只关心小数点后的2位数字,我们可以这样设置格式化:

pd.set_option('display.float_format',  '{:,.2f}'.format)

百分号格式化

如果我们要显示一个百分比的列,可以这样设置。

pd.set_option('display.float_format', '{:.2f}%'.format)

或者其它币种的符号等均可,只需要在大括号{}前后添加即可。

6. 更改绘图方法

默认情况下,pandas使用matplotlib作为绘图后端。从 0.25 版本开始,pandas提供了使用不同后端选择,比如plotly,bokeh等第三方库,但前提是你需要先安装起来。

这个东哥之前也分享过设置后端可视化方法的内容:再见,可视化!你好,pandas!

设置很简单,只要安装好三方库后,同样只需要一行。

import pandas as pd
import numpy as np
pd.set_option('plotting.backend', 'altair')
data = pd.Series(np.random.randn(100).cumsum())
data.plot()

7. 配置info()的输出

pandas中我们经常要使用info()来快速查看DataFrame的数据情况。但是,info这个方法对要分析的最大列数是有默认限制的,并且如果数据集中有null,那么在大数据集计数统计时会非常慢。

pandas提供了两种选择:

  • display.max_info_columns: 设置要分析的最大列数,默认为100。

  • display.max_info_rows: 设置计数null时的阈值,默认为1690785。

比如,在分析有 150 个特征的数据集时,我们可以设置display.max_info_columns为涵盖所有列的值,比如将其设置为 200:

pd.set_option('display.max_info_columns', 200)

在分析大型数据集时,df.info()由于要计算所有null,导致速度很慢。因此我们可以简单地设置display.max_info_rows为一个小的值来避免计数,例如只在行数不超过5时才计数null:

pd.set_option('display.max_info_rows', 5)

8. 打印出当前设置并重置所有选项

pd.describe_option()将打印出设置的描述及其当前值。

pd.describe_option()

还可以打印特定的选项,例如,行显示。

# 具体的搜索
pd.describe_option('rows')

最后,我们还可以直接全部重置。

pd.reset_option('all')

以上就是8个常用set_option的使用,下面进行了汇总,方便大家粘贴使用。

pd.set_option('display.max_rows',xxx) # 最大行数
pd.set_option('display.min_rows',xxx) # 最小显示行数
pd.set_option('display.max_columns',xxx) # 最大显示列数
pd.set_option ('display.max_colwidth',xxx) #最大列字符数
pd.set_option( 'display.precision',2) # 浮点型精度
pd.set_option('display.float_format','{:,}'.format) #逗号分隔数字
pd.set_option('display.float_format',  '{:,.2f}'.format) #设置浮点精度
pd.set_option('display.float_format', '{:.2f}%'.format) #百分号格式化
pd.set_option('plotting.backend', 'altair') # 更改后端绘图方式
pd.set_option('display.max_info_columns', 200) # info输出最大列数
pd.set_option('display.max_info_rows', 5) # info计数null时的阈值
pd.describe_option() #展示所有设置和描述
pd.reset_option('all') #重置所有设置选项

原创不易,欢迎点赞、留言、分享,支持我继续写下去。

参考:

[1] https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.set_option.html

[2] https://towardsdatascience.com/8-commonly-used-pandas-display-options-you-should-know-a832365efa95

推荐阅读:入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|年度爆款文案1).卧槽!Pdf转Word用Python轻松搞定!2).学Python真香!我用100行代码做了个网站,帮人PS旅行图片,赚个鸡腿吃3).首播过亿,火爆全网,我分析了《乘风破浪的姐姐》,发现了这些秘密 4).80行代码!用Python做一个哆来A梦分身 5).你必须掌握的20个python代码,短小精悍,用处无穷 6).30个Python奇淫技巧集 7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货 8).再见Python!我要学Go了!2500字深度分析!9).发现一个舔狗福利!这个Python爬虫神器太爽了,自动下载妹子图片点阅读原文,领廖雪峰资料!
Python Selenium自动化采集阿里巴巴国际站数据并生成可视化Excel报告 Web数据采集(爬虫)是自动化获取互联网公开信息的关键技术,其核心原理是通过程序模拟浏览器行为或发送网络请求,从网页中提取结构化数据。这项技术的价值在于能够将海量、分散的网络信息高效、准确地转化为可分析的数据资产,从而支持市场分析、竞品研究、价格监控等商业决策。在电商、外贸、舆情监控等应用场景中,自动化数据采集能极大提升工作效率。本文以阿里巴巴国际站为例,详细阐述了如何利用Python的Selenium库应对动态渲染页面和反爬机制,实现从登录、翻页到数据提取的全流程自动化,并将采集到的商品价格、供应商信息等 阅读详情

相关推荐

VS Code Python开发环境配置全攻略:从虚拟环境到高效调试

Python作为一门广泛应用于Web开发、数据分析和人工智能领域的编程语言,其开发效率很大程度上取决于工具链的完善程度。现代集成开发环境(IDE)和代码编辑器通过提供智能代码补全、实时错误检查和集成调试等功能,显著提升了开发体验。其中,虚拟环境技术实现了项目依赖的隔离与管理,确保了开发环境的一致性和可复现性,是Python工程实践的核心环节。结合强大的代码编辑器和扩展生态,开发者可以构建出高度定制化的工作流,从而在数据分析、自动化脚本和机器学习等应用场景中游刃有余。本文将聚焦于如何利用VS Code这一轻量

weixin_30258901的博客 351

Selenium异步爬虫实战:高效采集动态网页数据的架构与优化

动态网页数据采集是现代网络爬虫的核心挑战之一,其原理在于现代网站普遍采用JavaScript异步加载技术(如Ajax、React、Vue框架)动态渲染内容,传统基于HTTP请求的爬虫无法直接获取完整数据。为解决这一问题,Selenium等浏览器自动化工具通过模拟真实用户行为,能够完整执行页面JavaScript并获取渲染后的DOM,确保了数据的完整性。然而,Selenium的同步阻塞特性在大量页面采集时会导致严重的效率瓶颈。通过引入异步编程(如Python的asyncio)与线程池技术,可以实现Seleni

weixin_33816300的博客 464

Flask+ECharts实战:构建泡泡玛特评论数据分析可视化Web应用

数据可视化是将复杂数据转化为直观图表的关键技术,其核心原理在于通过图形化手段揭示数据中的模式、趋势和关联。在Web开发领域,结合Python后端与JavaScript前端图表库,能够高效构建交互式数据分析应用,为业务决策提供有力支持。Flask作为轻量级Python Web框架,以其简洁灵活的特性,常被用于快速搭建数据API服务;而ECharts作为强大的前端可视化库,则负责将处理后的数据渲染成交互式图表。这种技术组合在**毕业设计**、个人作品集和技术面试中具有很高的实践价值。本文以**泡泡玛特**社交媒

weixin_30216561的博客 469

Pandas学习笔记-19_数据归类/汇总

1. Excel 第一列为ID,第2列为每条记录的销售额,第三列为成交日期,第四列为产品描述,第五列为子类,第六类为大类 目标:第一列为大类,第2列为销售总额。插入透视表处理 插入\数据透视表\excel会自动选中整个表格------选择“新工作表(N)”\确定 选中“Category”,将它拖到右下角对应的“行”那个栏位,就可以看到效果,如左上角示 继续在右下角选中“Date”...

我思故我在! 1269

VSCode Python开发实战配置指南:环境搭建、调试与效率优化

Python开发环境配置是工程落地的第一道关卡,涉及解释器管理、代码格式化、静态检查、交互式计算与调试等核心环节。其本质是构建可复现、可验证、可协作的本地开发流水线。VSCode凭借高度可定制的扩展生态(如Pylance、Black、Flake8、Jupyter)和透明的执行链路,成为兼顾新手友好性与专业深度的首选工具。它能系统性规避解释器混乱、格式化失焦、调试低效等高频痛点,广泛应用于数据分析、Web后端、自动化脚本及机器学习项目。本文聚焦真实场景下的硬核实操,覆盖Windows/macOS/Linux多

381

Zynq工程IP核封装:XCI引用与约束继承实战指南

IP核封装是FPGA系统设计中实现模块复用、团队协作与技术资产沉淀的关键环节。其本质是将功能逻辑、时序约束、接口协议和硬件配置统一抽象为可配置、可验证、可演进的标准化组件。核心原理在于通过XCI文件保留IP核的参数化定义能力,依托Vivado IP Packager实现约束继承、端口自动映射与时钟域解耦,从而保障跨项目集成的时序可信性与约束完备性。该技术广泛应用于Zynq SoC视频处理、高速接口(如HDMI/TMDS)、多时钟域控制系统等场景,尤其在需要长期维护与版本迭代的工业级嵌入式开发中具有不可替代的

weixin_42593701的博客 126

Pandas高级教程之:自定义选项

pandas有一个option系统可以控制pandas的展示情况,一般来说我们不需要进行修改,但是不排除特殊情况下的修改需求。本文将会详细讲解pandas中的option设置。

程序那些事 4052

私彩视频开奖动画直播源码内部核心技术解析及修改可增加后台操控-持续更新文章!

其实在此很感谢能做出H5开奖系统的码农们,而我本人也喜欢分解此类的东西。 因为特殊原因,该东西本人就不做图片展示,以防他人商业化。 借用开奖摇奖代码首先分解首页index文件。代码如下:(后面持续在原有的作品上添加后台操作) 代码里写的//.....是我的注明代码的所需。 ​ <!DOCTYPE html> <html> <head> <...

yugua3837的博客 5998

python.pandas常用参数设置

介绍设置pandas包里面常用参数,包括打印行列的数量,打印数字的格式;以及设置参数值的方式,包括调用set_option方法及点语法方式。

sccdpxz2的博客 1264

从零开始掌握Python机器学习:七步教程 基础篇

前言 「开始」往往是最难的,尤其是当选择太多的时候,一个人往往很难下定决定做出选择。本教程的目的是帮助几乎没有 Python 机器学习背景的新手成长为知识渊博的实践者,而且这个过程中仅需要使用免费的材料和资源即可。 第一步:基本 Python 技能 如果我们打算利用 Python 来执行机器学习,那么对 Python 有一些基本的了解就是至关重要的。 首先,你需要安装 Python。因为我们后...

hcgx2018的博客 1617

关于STM32编译报错:Error: L6218E: Undefined symbol SystemInit (referred from startup_stm32f10x_md.o).

今天新建工程发现出现一个错误 —— …\Output\CG.axf: Error: L6218E: Undefined symbol SystemInit (referred from startup_stm32f10x_md.o). 但我觉得我的操作没有任何问题,而且配置和上一个文件比较是一模一样的。 于是我开始百度查询,然后发现了下面几个博客—— @weixin_44133391——STM32 编译错误 @dorlolok——iel5 编译报错 error: L6235E: More than one

纯粹,学术,热爱。 9406

notebook 1: 设置notebook一个cell的显示行数 pd.options.display.max_rows = 65

pd.options.display.max_rows = 65

smart boy 6450

Swift Package Manager (SPM) 创建并集成本地库

Swift Package Manager (SPM) 在macOS 项目中创建并集成的完整步骤

征战无悔人生 1428

好习惯!pandas 8 个常用的 option 设置

作者 | 东哥起飞来源 |Python数据科学通过pandas的使用,我们经常要交互式地展示表格(dataframe)、分析表格。而表格的格式就显得尤为重要了,因为大部分时候如果我们直接展示表格,格式并不是很友好。其实呢,这些痛点都可以通过pandas的option来解决。短短几行代码,只要提前配置好,一次设置好,全局生效,perfect!#使用方法 importp...

AI科技大本营 776

N32G003学习——第九章 第三节1 串口 发送

经过第九章前2节的学习,基础打下之后,开始敲代码。

qq_34525008的博客 1036

YOLO创新点改进点的消融实验设计规范

YOLO改进的消融实验是一种重要的方法,用于评估和验证模型中不同组件的影响。在进行YOLO改进的消融实验时,我们可以选择一些可能的改进点,比如Backbone网络、Anchor框设计和损失函数设计,然后通过实验来分析它们对模型性能的影响。首先,我们需要确定实验设计。对于每个改进点,我们将设计多个实验组,并针对每个实验组训练模型并进行性能评估。这里以三个改进点为例进行说明:改进点1:Backbone网络 (改进点2:Anchor框设计 (改进点3:损失函数设计 (

crasher123的博客 2915

7个提升Python开发效率的实用库:从Requests到PyInstaller

在Python开发中,第三方库是提升效率、减少重复代码的关键。通过封装通用功能,这些库让开发者能专注于核心业务逻辑,而非底层实现。其技术价值在于标准化解决方案、优化性能并降低维护成本,广泛应用于数据处理、网络通信、自动化脚本和项目工程化等场景。本文聚焦于七个高效工具,涵盖HTTP请求、数据分析、日志记录、CLI构建、终端美化、依赖管理和程序打包,通过具体示例展示如何快速上手,帮助开发者构建更专业、更易维护的应用。

axfcjwkbi259888707的博客 437

置顶必读(1) |《YOLOv11实战:从入门到深度优化》专栏导读,带你一文了解本专栏!

🏆 本文收录于 《YOLOv8实战:从入门到深度优化》 专栏,该专栏专注于分享我在YOLOv8目标检测模型中的实战经验,涵盖从入门基础到深度优化的全方位解决方案。无论你是计算机视觉的新手,还是具有多年深度学习经验的专家,本专栏都将为你提供高效、可复现的技术方案,助你掌握YOLOv8的核心技术,提升目标检测性能,突破瓶颈,优化模型,并加速项目开发🚀!

**My Coding Family** 12万+

Flask+ECharts构建数据分析可视化项目:从零到一实战指南

数据可视化是将数据转化为直观图表以辅助决策的关键技术,其核心原理在于通过图形化手段清晰呈现数据中的模式、趋势和异常。在工程实践中,Python因其丰富的数据处理库(如Pandas)和轻量级Web框架(如Flask)成为构建数据可视化后端的首选,而ECharts等前端库则提供了强大的交互式图表渲染能力。这种技术组合的价值在于能够快速将分析结果产品化,形成一个完整的数据应用闭环,广泛应用于电商评论分析、社交媒体洞察、业务监控看板等场景。本文以热门的“泡泡玛特评论分析”为具体案例,详细拆解如何利用Flask搭建数

weixin_34320159的博客 393

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Selenium自动化分页爬虫实战:从动态网页高效提取数据

在数据采集和自动化测试领域,处理网页分页是常见且核心的技术挑战。其原理在于模拟用户操作,通过程序自动识别并点击“下一页”等交互元素,实现多页面数据的连续获取。这项技术的核心价值在于将从业者从重复、机械的“点击-等待-复制”循环中解放出来,极大提升工作效率。它广泛应用于电商数据抓取、舆情监控、后台系统测试等需要遍历多页数据的场景。本文聚焦于使用Selenium这一成熟的浏览器自动化工具,深入讲解如何构建健壮的分页处理逻辑,包括元素定位、等待策略、反爬应对等关键实践,并特别针对动态网页(如依赖JavaScrip

anvt77205的博客 480

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Python自动化实战:从Selenium到Jenkins,构建高效工作流

自动化技术旨在通过脚本或程序替代重复性人工操作,其核心原理是模拟用户行为或调用系统接口。在技术实现层面,Python凭借其简洁语法和丰富的生态库,成为自动化领域的首选语言。从Web自动化、桌面GUI操作到办公文档处理,Python提供了Selenium、Playwright、PyAutoGUI、openpyxl等一系列成熟工具链,能够显著提升工作效率并减少人为错误。特别是在Web自动化场景中,Selenium通过WebDriver控制浏览器,结合显式等待和Page Object Model设计模式,可以构建

weixin_34417200的博客 371

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

基于API与表格的硬件监控数据自动化采集与可视化方案

硬件监控是系统运维和性能调优的基础,其核心在于实时采集并分析CPU温度、GPU负载、内存占用等关键指标数据。传统监控工具通常局限于本地界面,数据难以被外部系统利用。通过构建数据导出API,可以将动态的硬件信息转化为标准化的JSON数据流,实现进程间通信。这一技术方案的价值在于打通了监控数据与数据分析平台之间的壁垒,使得原始数据能够被灵活地用于趋势分析、自动化预警和可视化展示。典型的应用场景包括服务器健康度追踪、硬件压力测试记录以及自动化运维流程的触发。本文以LibreHardwareMonitor为例,详细

weixin_34159110的博客 473

Selenium 4与EdgeDriver无头模式:高效动态网页爬虫实战指南

在数据采集领域,动态网页内容抓取是常见的技术挑战。其核心原理在于现代Web应用普遍采用JavaScript框架(如React、Vue.js)进行客户端渲染,传统基于HTTP请求的静态爬虫无法获取完整的页面数据。为解决此问题,浏览器自动化技术应运而生,它通过程序控制真实浏览器内核,完整执行页面脚本,从而获取渲染后的最终DOM结构,为数据提取提供了可靠基础。在众多工具中,Selenium凭借其成熟的生态和跨语言支持,成为处理动态内容抓取和复杂交互场景的优选方案。结合Chromium内核Edge浏览器的无头模式,

weixin_33866037的博客 345

CFO如何成为财务数据科学家:Python建模与业务决策实战指南

财务数据科学家正成为现代CFO的核心能力标签,其本质是将会计语义、业务逻辑与统计建模深度融合的技术角色。它源于传统财务分析在时间颗粒度、归因严谨性与决策主动性上的三重断层,依托Python、SQL和可解释机器学习等工具,实现从滞后报表到实时预警、从相关推测到因果归因、从被动响应到闭环干预的跃迁。该能力不仅支撑动态现金流预测、智能成本分摊、财务风险哨兵等高价值场景,更重塑CFO在董事会中的话语权——让‘应收账款周转天数’不再只是数字,而是可拆解、可干预、可验证的资金效率指标。本文聚焦真实企业落地路径,覆盖数据

weixin_30847939的博客 507

Python+Django+Vue构建外卖数据分析系统:毕业设计实战指南

数据分析与可视化是现代企业进行业务决策的核心技术支撑。其原理在于通过数据采集、处理、分析与可视化呈现,将原始数据转化为直观的洞察,从而驱动运营优化与商业决策。在技术实现上,Python凭借其强大的Pandas、NumPy等库生态,成为数据处理与分析的首选;而Django框架则提供了高效、规范的Web后端开发能力,结合其强大的ORM和Admin后台,能快速构建数据管理与API服务。Vue.js作为渐进式前端框架,配合ECharts等可视化库,能够构建出交互丰富、体验流畅的数据看板。这种技术组合在电商、金融、物

weixin_30608503的博客 356

SQL Server内嵌Python/R:数据不动代码动的机器学习实践

在数据库内执行Python和R代码,是解决大数据分析中数据移动瓶颈的核心技术路径。其原理基于SQL Server Machine Learning Services提供的沙箱化外部脚本执行机制,通过进程隔离、权限管控与内存共享,在保障数据主权前提下实现计算下推。该技术显著提升金融、医疗等强合规场景下的模型训练与实时推理效率,支持pandas、xgboost、revoscalepy等主流库原生调用,并天然融入T-SQL事务与资源治理体系。本文聚焦SQL Server 2016+环境下的远程R/Python执行

weixin_30902251的博客 370
上一篇: 四步,用python实现一辆自动驾驶的小车
下一篇: 可能是全网最完整的 Python 操作 Excel库总结!
菜鸟学Python
博客等级 码龄9年 8097粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值