MySQL插入优化与requests连接池

“知道”题库脚本——从数据抓取到结构化存储的实战解析 本文详细解析了'知道'题库脚本的开发与实现,从数据抓取到结构化存储的全流程。通过Python爬虫技术,实现了题库数据的自动化采集、题型处理、内容清洗及MySQL存储优化,特别适合在线教育领域的开发者构建题库系统。文章还提供了反爬虫策略应对和功能扩展建议,助力开发者高效完成题库数据采集任务。 阅读详情

最近工作比较忙,此外花了时间看杂书,文章写的比较少。

本篇文章分享一个工作中遇到的小问题。

背景

要完成一个开发任务,读取一个具有80w条数据的CSV文件,将其入库,因为CSV文件中缺少2个关键数据,需要通过调用内部Web API接口的形式去获得,2个参数分别请求两个URL,每次请求参数不同。

MySQL插入优化

先不考虑Web API方面的内容,80w条数据,如何快速的入库MySQL?

一个直观的想法就是将多条INSERT语句合并成一条INSERT执行,合并成一条SQL后,会减少MySQL的日志,从而降低日志的数据量与使用磁盘的评率,从而提高效率,此外合并SQL语句后,可以减少SQL语句的解析书以及减少网络传输IO(MYSQL C/S模式)

查阅资料,主要阅读了「MySQL 批量 SQL 插入性能优化」这篇文章,文中给出了相应的测试效果,这里分享一下。

多条插入数据

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('1', 'userid_1', 'content_1', 1);

合并成一条后

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1);

文中提供一些测试对比数据,分别是进行单条数据的导入与转化成一条 SQL 语句进行导入,分别测试 1 百、1 千、1 万条数据记录。

此外文中提出,使用事务可以提高数据的插入效率,其原因是因为MySQL在进行INSERT操作时内部会建立一个事务,在事务内才进行真正的插入处理,在使用INSERT语句时,直接使用事务可以减少多次创建事务的消耗。

使用事务的修改如下。

START TRANSACTION;
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('1', 'userid_1', 'content_1', 1);
...
COMMIT;

文中同样给出了测试对比,分别是不使用事务与使用事务在记录数为 1 百、1 千、1 万的情况。

此外,还需要注意,插入数据时,其索引是有序的会比无序索引快那么一些。

数据有序的插入是指插入记录在主键上是有序排列。

例如 datetime 是记录的主键。

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('2', 'userid_2', 'content_2',2);

从上面sql可以看出,datetime是记录主键,但却是无序的。

将其修改成。

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('2', 'userid_2', 'content_2',2);

MySQL在进行入库操作时,需要维护索引数据,插入时,索引数据无序会增大维护索引的成本,因为MySQL索引使用的结构是B+树,这个树本文就不讨论先,留点素材给未来的自己。

下面是随机数据与顺序数据的性能对比,分别是记录为 1 百、1 千、1 万、10 万、100 万。

将上面提到的三种方式合起来使用,可以让INSERT语句执行效果大幅提高。

引用「MySQL 批量 SQL 插入性能优化」结论

从测试结果可以看到,合并数据 + 事务的方法在较小数据量时,性能提高是很明显的,数据量较大时(1 千万以上),性能会急剧下降,这是由于此时数据量超过了 innodb_buffer 的容量,每次定位索引涉及较多的磁盘读写操作,性能下降较快。而使用合并数据 + 事务 + 有序数据的方式在数据量达到千万级以上表现依旧是良好,在数据量较大时,有序数据索引定位较为方便,不需要频繁对磁盘进行读写操作,所以可以维持较高的性能。

因为我插入的数据其主键索引本身就是无序的,所以使用了「合并数据 + 事务」的方法,但在具体实践时,还是遇到了「(2006, “MySQL server has gone away (BrokenPipeError(32, ‘Broken pipe’))”)」这个问题。

阅读MySQL相关文档与其他资料,出现这个问题有3个可能原因。

1.max_allowed_packet值太小,在MySQL中max_allowed_packet默认为4M,即插入数据其大小不能超过4M,我要做的就是将其设置成更大的值。

// 查看 max_allowed_packet
>show VARIABLES like '%max_allowed_packet%';
// 将修改成 100M
>set global max_allowed_packet = 1024*1024*100;

这种修改只会临时生效,MySQL重启后,依旧会变为4M,想要长期生效,需要修改「my.ini」。

2.wait_timeout太小,MySQL链接长时间没有新请求,就被Server端关闭了,对于一些ORM库而言,这个过程是透明的,此时还在使用被Server端关闭的链接来进行SQL操作,就会出现上述错误,而我要做的就是将其设置为更大的值。

>show global variables like '%timeout'; 
// MySQL无操作28800秒后会被自动化关闭
> set global wait_time = 28800;

但这不是长久之策,因为长时间不操作,MySQL Server端依旧会将其关闭,这个问题依旧会出现,为了避免这个问题,你需要自己关闭链接,对于一些MySQL操作量不大的情景,建议使用短连接的形式,如果依旧需要用MySQL连接池,以长连接的方式来操作MySQL,就需要实现判断当前链接是否存活的逻辑并在不存活的情况下自动重连。

如果使用的是pymysql,那么可以通过ping()方法来进行重连,其源码如下。

    def ping(self, reconnect=True):
        """Check if the server is alive"""
        if self._sock is None:
            if reconnect:
                self.connect()
                reconnect = False
            else:
                raise err.Error("Already closed")
        try:
            self._execute_command(COMMAND.COM_PING, "")
            return self._read_ok_packet()
        except Exception:
            if reconnect:
                self.connect()
                return self.ping(False)
            else:
                raise

其实就是先判断当前链接是否存活,不存在就通过connect()方法再链接一次。

此外可以利用「try…except…」,当使用当前MySQL链接执行SQL时,如果报错,直接执行except中的逻辑,在except中只需将当前链接关闭,然后再获取新链接,然后再执行SQL则可。

3.此外执行大量数据的INSERT或REPLACE也可能会导致此类错误(这才是我遇到这个错误的原因),要做的就是降低单词INSERT的数据行数则可,我原本一次性插入10000条,将其改成5000条后,这个问题就没有出现了。

这个原因可以从其开发官方查阅到,地址为:https://dev.mysql.com/doc/refman/5.7/en/gone-away.html

支持,80w条数据高效插入的问题就解决了

requests连接池

MySQL入库方面的问题解决后,接着就来考虑一下requests问题,要实现23条请求,并发是必须的,键盘啪啪啪两三下,利用线程池(ThreadPoolExecutor)的并发请求逻辑就实现好了,一个经验是,将参数处理后,其他的事情就不用多想了,通过ThreadPoolExecutor.map()方法,轻松实现并发。

我以为事情就这样结束了,但程序正常运行一段时间后,出现了大量的「Cannot assign requested address」报错。

这是因为客户端短时间内频繁的请求服务器,每次请求链接都在很短的时间内结束,从而导致很多TIME_WAIT,操作系统的端口号等资源被迅速用光,新的请求链接没办法获得新的端口号等资源,就抛出Cannot assign requested address。

可以通过netstat -an | grep TIME_WAIT验证一下。

理解了问题所在,解决起来就很简单了,使用requests连接池就好了,实现端口号等资源的复用。

需要注意,这里请求的Web API是相同的2个API,所以可以通过建立长连接的方式复用资源,如果每次请求的host、IP等都不同,这种方式是没有什么效果的。

requests其实已经考虑到了连接池的情况,简单使用一下则可。

    @staticmethod
    def get_http_session(pool_connections=1, pool_maxsize=10, max_retries=3):
        ''' 
        http连接池 
        pool_connections 要缓存的 urllib3 连接池的数量。
        pool_maxsize 要保存在池中的最大连接数。
        max_retries 每个连接的最大重试次数
        '''
        session =requests.session()
        # 创建适配器
        adapter = requests.adapters.HTTPAdapter(pool_connections=pool_connections, 
                                                pool_maxsize=pool_maxsize, max_retries=max_retries)
        session.mount('http://', adapter)
        session.mount('https://', adapter)
        return session

结尾

至此,这个东西就正常跑起来了。

大家在工作中有没有遇到什么有意思的问题?

如果本文对你有所启发,记得点击「在看」支持二两。

感谢「MySQL 批量 SQL 插入性能优化」https://segmentfault.com/a/1190000008890065

在这里插入图片描述

Python爬虫实战:从网页抓取笑话到MySQL存储 网络爬虫是自动化获取网页数据的关键技术,其核心原理是通过HTTP请求模拟浏览器行为,再解析HTML文档提取结构化数据。Python生态中的requests和BeautifulSoup库组合提供了高效的网页抓取与解析方案,配合MySQL等关系型数据库可实现数据的持久化存储。在实际工程中,数据去重、反爬机制应对和连接池管理等技术细节直接影响系统稳定性。以构建本地笑话库为例,通过MD5内容指纹实现去重,结合连接池优化数据库性能,这种模式也适用于新闻聚合、商品信息采集等应用场景。合理使用定时任务和缓存机制还能进一步 阅读详情

相关推荐

Python实战:用Requests库POST请求精准爬取船讯网船舶静态数据(附完整代码与MySQL入库)

本文详细介绍了如何使用Python的Requests库通过POST请求从船讯网获取船舶静态数据,包括MMSI等关键信息,并将数据高效存储到MySQL数据库。提供了完整的爬虫代码实现、数据库操作类以及性能优化技巧,帮助开发者快速构建船舶信息爬虫系统。

weixin_30667649的博客 718

python请求连接池

【代码】python请求连接池。

breeze_blows的博客 1545

Python 爬虫实战:将爬取数据保存到 MySQL 数据库

本文详细介绍了Python爬虫与MySQL数据库的整合应用,重点阐述了爬取数据规范化存储的全流程。主要内容包括:环境配置(MySQL数据库创建与权限设置)、核心原理(数据解析、清洗、连接池优化)、实战案例(豆瓣电影Top250爬取入库),以及批量插入、异常重试等进阶优化方案。文章通过完整的代码示例,展示了从网页数据获取到MySQL持久化存储的技术实现,并提供了常见问题的解决方案。该方案具有高效性、可靠性和可扩展性,适用于各类爬虫项目的数据库存储需求,同时强调需遵守相关法律法规和网站反爬策略。

2503_91057718的博客 1535

理解Python requests库中的HTTP连接池与session对象

理解Python requests库中的HTTP连接池与session对象

Leon_Jinhai_Sun的博客 1058

构建高效的python requests长连接池详解

主要介绍了构建高效的python requests长连接池详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

Python之requests+xpath爬取猫眼电影并写入数据库(图文教程)

文章目录一、pyhton连接mysql数据库二、用xpath抓取有用信息说几个比较容易掉坑的地方一二三效果 一、pyhton连接mysql数据库 我是写了一个py文件来封装一下,然后在爬取猫眼的py文件里直接调用,需要使用到pymysql库, 没有安装这个库的同学要事先安装一下,这里直接上代码 #coding=utf-8 import pymysql class mysqlConn: def get_conn(self, dbname): """提供你要连接的数据库名,并连接数据库""" self.conn = pymysql.connect(

5分钟了解python requests会话原理

一、requests介绍 requests是python3里面处理http网络库,目前支持http1.*,封装了urllib3,session默认是http1.1, 所以支持长连接,同时 requests.Session回话支持连接池,下面我们主要讲解下连接池的实现。 二、requests Session 1、使用 import requests session = requests.session() # 创建一个会话 res = session.get("http://www.baidu.com")

weixin_43884331的博客 3297

别再只画版图了!用ADS RFPro的Circuit模型,快速评估滤波器加电容后的性能变化

本文详细介绍了如何利用ADS RFPro的Circuit模型功能,实现射频滤波器设计中版图与集总元器件的高效协同仿真。通过混合仿真技术,工程师可以快速评估滤波器加电容后的性能变化,大幅缩短设计迭代周期,提升工作效率。文章还提供了实战案例和高级技巧,帮助读者掌握这一创新设计方法。

weixin_28559803的博客 258

Python代理请求的连接池与持久化

通过合理配置连接池和实现会话持久化,可以使Python代理请求的性能提升3-5倍,同时降低被代理服务器封禁的风险。在Python中通过代理发送大量HTTP请求时,合理使用连接池和持久化技术可以显著提升性能、减少资源消耗并避免被代理服务器限制。print(f"请求{i}完成,状态码:{response.status_code}")pool_connections=10, # 连接池数量。pool_block=False # 连接池满时是否阻塞。pool_maxsize=100, # 最大连接数。

weixin_73725158的博客 399

【Vite+Vue3+TS】基于Vite+Vue3+TypeScript+ESLint+Prettier+Stylelint搭建项目(亲测超详细)

结合了很多项目和文章,总结一篇项目构建的笔记。 温馨提示:文章末尾记录了我在搭建项目过程中,遇到的一些问题和解决办法 ~

aDiaoYa_的博客 4234

OpenWebUI外部模型配置异常排查与修复指南

本文详细解析了OpenWebUI外部模型配置异常的常见问题及解决方案,包括隐藏字符、数据库锁死等典型现象。通过错误日志分析和数据库修复实战指南,帮助开发者快速定位并解决配置问题,确保OpenWebUI与第三方大模型的稳定连接。

weixin_29205061的博客 316

mysql insert 时间_MySQL 插入优化与 requests 连接池

最近工作比较忙,此外花了时间看杂书,文章写的比较少。本篇文章分享一个工作中遇到的小问题。背景要完成一个开发任务,读取一个具有 80w 条数据的 CSV 文件,将其入库,因为 CSV 文件中缺少 2 个关键数据,需要通过调用内部 Web API 接口的形式去获得,2 个参数分别请求两个 URL,每次请求参数不同。MySQL 插入优化先不考虑 Web API 方面的内容,80w 条数据,如何快速的入库...

weixin_42104778的博客 167

【系统分析师】2026年上半年真题:案例分析-答案及详解(回忆版)

案例一聚焦因果分析法(鱼骨图)的应用,分析企业订单履约问题。问题1阐述因果分析法定义及常见方法(鱼骨图、5个为什么等);问题2将8个原因归类为人员、方法、合同等5类;问题3筛选适合鱼骨图的场景(如系统响应慢、服务器故障等),强调其适用于复杂根因分析。 案例二对比嵌入式系统中Linux与RTOS的差异(实时性、资源占用等),结合智能监控终端需求推荐Linux+四核ARM方案(高算力、性价比),并列选Linux的5大优势(生态成熟、多任务支持等)。 案例三设计互联网医院系统用例图(患者、医生等参与

数据知道的博客 1370

mysql高效插入_MySQL 插入优化与 requests 连接池

最近工作比较忙,此外花了时间看杂书,文章写的比较少。本篇文章分享一个工作中遇到的小问题。背景要完成一个开发任务,读取一个具有 80w 条数据的 CSV 文件,将其入库,因为 CSV 文件中缺少 2 个关键数据,需要通过调用内部 Web API 接口的形式去获得,2 个参数分别请求两个 URL,每次请求参数不同。MySQL 插入优化先不考虑 Web API 方面的内容,80w 条数据,如何快速的入库...

weixin_42476888的博客 117

基于工作流的低代码AI应用开发:Flock平台核心架构与实战指南

在AI应用开发领域,工作流编排正成为连接大语言模型(LLM)能力与复杂业务逻辑的关键技术。其核心原理是将任务分解为模块化节点,通过可视化方式定义执行顺序与数据流向,从而实现灵活可控的自动化流程。这种范式极大地提升了开发效率,降低了技术门槛,使得开发者能够聚焦于业务设计而非底层代码。在技术价值层面,工作流编排支持检索增强生成(RAG)、多智能体协作等高级模式,并能通过人工干预节点确保关键流程的可靠性与合规性。其典型应用场景包括智能客服、自动化办公、数据分析助手等。本文以Flock平台为例,深入解析了如何利用其

weixin_26848497的博客 384

电子元器件选型与实战应用—01 电阻选型

大家好, 我是记得诚。这是《电子元器件选型与实战应用》专栏的第一篇文章,今天的主角是电阻,在每一个电子产品中,都少不了电阻的身影,其重要性不言而喻。

记得诚 3539

insert批量插入500ms_MySQL 插入优化与 requests 连接池

最近工作比较忙,此外花了时间看杂书,文章写的比较少。本篇文章分享一个工作中遇到的小问题。背景要完成一个开发任务,读取一个具有 80w 条数据的 CSV 文件,将其入库,因为 CSV 文件中缺少 2 个关键数据,需要通过调用内部 Web API 接口的形式去获得,2 个参数分别请求两个 URL,每次请求参数不同。MySQL 插入优化先不考虑 Web API 方面的内容,80w 条数据,如何快速的入库...

weixin_39947501的博客 210

135、转动惯量辨识方法

<think>我们要求根据内容生成≤150字的文章摘要。内容是关于电机控制中转动惯量辨识的方法和工程经验。摘要需简洁概括核心:转动惯量重要性、三种方法(加减速法、正弦扫频、MRAS)、工程注意点(摩擦补偿、采样同步等)、实用建议(组合使用、滤波限幅、安全保护)。字数严格≤150。需要提炼。</think>转动惯量辨识是电机控制的关键,负载变化会导致速度环失稳。工程常用加减速法(简单可靠)、正弦扫频法(高精度)、MRAS在线辨识。实操需补偿摩擦、同步采样、控制激励幅度。建议混合使用,辨识结果需滤波限幅,并设置

2401_88858637的博客 41

从技能大赛样题到实战项目:手把手教你用Python爬取天气数据并存入MySQL(附反爬策略)

本文详细介绍了如何将Python爬虫技能从技能大赛样题应用到实战项目中,手把手教你爬取天气数据并存入MySQL数据库。文章涵盖从项目规划、环境准备到反爬策略、数据存储的全流程,特别针对真实项目中的反爬机制提供了实用解决方案,帮助开发者提升Python爬虫实战能力。

weixin_33704234的博客 673

Unity引擎开发:复杂动作系统_动作捕捉数据的应用与整合

通过以上步骤,我们可以在Unity中有效地应用和整合动作捕捉数据,以实现更加真实和流畅的动画效果。从导入文件格式的选择,到预处理和优化,再到实时应用和调试验证,每一步都至关重要。希望本文能帮助你在Unity项目中更好地利用动作捕捉数据,提升动画质量和性能。

chenlz2007的博客 961

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

JMeter精准压测MySQL:从慢查询定位到连接池优化的全链路实战

数据库性能优化是保障应用稳定性的核心技术环节,其核心原理在于通过系统性的压力测试与监控,识别并消除响应延迟与吞吐量瓶颈。这项技术的价值在于,它能将性能问题从事后补救转变为可预测、可度量的工程实践,从而支撑高并发电商、金融交易等关键业务场景的稳定运行。本文聚焦于使用JMeter这一经典工具,结合实战中高频出现的慢查询与连接池配置问题,深入解析如何构建贴近真实业务的压测模型,并系统性地定位由索引缺失、锁竞争或服务器参数不当引发的性能瓶颈,最终通过数据驱动的迭代验证优化效果。

cuililai5127的博客 335

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Python爬虫requests库高级用法与实战技巧

HTTP请求库是网络爬虫开发的核心工具,其中Python的requests库因其简洁API和强大功能成为开发者首选。从技术原理看,requests基于urllib3实现,支持HTTP/1.1和连接池管理,能高效处理网络通信。在爬虫工程实践中,JSON解析、SSL认证和代理设置是三大关键技术点:JSON作为主流数据交换格式,requests提供原生.json()解析方法;HTTPS通信需正确处理SSL证书验证;而代理池技术能有效解决IP封禁问题。本文以视频网站和新闻站点为典型应用场景,详解如何结合代理池搭建、

weixin_33910759的博客 574

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

手把手教你用Python爬取长沙二手房数据:从Requests到MySQL的完整实战(附反爬技巧)

本文详细介绍了如何使用Python从零构建长沙二手房数据采集系统,涵盖Requests库的网页抓取、BeautifulSoup的数据解析、MySQL的数据存储等全流程实战。特别分享了反爬技巧如动态User-Agent生成和请求频率控制,帮助开发者高效获取结构化房产数据。

weixin_28706923的博客 1012

Python全栈开发中MySQL数据库实战技巧与优化

关系型数据库作为现代应用开发的核心组件,其设计原理与SQL语言是开发者必须掌握的基础技能。MySQL凭借其开源特性与稳定性能,成为Python全栈开发中最常用的数据库解决方案。通过合理设计表结构、优化索引策略以及正确使用事务隔离级别,可以显著提升系统吞吐量并降低延迟。在实际工程中,开发者需要平衡ORM便利性与原生SQL性能,同时注意连接池配置、大表操作等生产环境常见问题。本文以Python+MySQL技术栈为例,详解从基础SQL命令到高级查询优化,再到Flask/SQLAlchemy集成方案的全链路实践,帮

weixin_30787531的博客 351

影墨·今颜模型数据库优化实践:MySQL配置与性能调优

本文介绍了在星图GPU平台上自动化部署🎨 影墨·今颜 (Ying Mo Jin Yan)小红书镜像后,如何针对其AI绘画应用进行MySQL数据库的配置与性能调优。文章详细阐述了从安装配置、表结构设计到查询优化的全链路实践,旨在解决高并发下图片生成任务记录与用户数据管理的性能瓶颈,确保应用流畅稳定运行。

weixin_29009401的博客 26
上一篇: Flask源码剖析(六):响应是怎么实现的
下一篇: Python定时任务框架:APScheduler源码剖析(一)
二两hackpython
博客等级 码龄9年 13粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值