1分钟插入10亿行数据!抛弃Python,写脚本请使用Rust

Rust + Python 协作实战:PyO3 高性能扩展开发指南 Python 作为胶水语言在数据科学与工程中广受欢迎,但其 GIL 限制、运行时开销和内存安全性问题,在 CPU 密集计算、正则解析、高并发状态管理及系统级 IO 场景下常引发性能瓶颈与稳定性风险。Rust 凭借零成本抽象、内存安全保证和无 GC 并发模型,成为 Python 原生加速的理想协作者——尤其通过 PyO3 实现无缝绑定。它不替代 Python,而是以‘精准外科手术’方式加固关键路径:支持类型安全的函数暴露、自动生命周期管理、跨平台 wheel 构建,并天然兼容 NumPy、asyncio 等生 阅读详情



  新智元报道  

来源:Avinash

一位程序员急需在一分钟之内生成十亿行的测试数据库,然而在用Python写了脚本之后发现「大失败」。怎么办?当然是用Rust了!

 

于是,他做了一个所有程序员都会做的事:写一个Python脚本来生成数据库。

 

然而,很不幸的是,这个脚本非 常 慢。

 

 

于是,他又做了一个所有程序员都会做的事:进一步学习关于SQLite、Python以及不知道为什么还有Rust的知识。

项目已开源:https://github.com/avinassh/fast-sqlite3-inserts

 

目标

作者需要在他2019年的MacBook Pro(2.4GHz四核i5)上,一分钟内生成一个有10亿行的SQLite数据库。

 

表的模式

 

要求:

  1. 生成的数据是随机的;

  2. 「area」列将包含六位数的地区代码(任何六位数都可以,不需要验证);

  3. 「age」列是5、10或15中的任何一个;

  4. 「active」列是0或1。

 

不过,作者表示,对脚本的要求也不用太高,还是可以妥协的:

  1. 如果进程崩溃,所有的数据都丢失也没有问题,再次运行脚本就可以了;

  2. 允许充分利用电脑的资源:100%的CPU,8GB的内存和剩余的SSD储存;

  3. 不需要使用真正的随机方法,来自stdlib的伪随机方法就可以。

Python原型

在最开始的脚本中,作者试图在一个for循环中逐一插入1000万条记录,而这让用时直接达到了15分钟。

 

 

显然,这太慢了。

 

在SQLite中,每次插入都是一个事务,每个事务都保证它被写入磁盘,作者推断可能问题就来自这里。

 

于是作者开始尝试不同规模的批量插入,发现10万是一个最佳点,而运行时间减少到了10分钟。

 

 

SQLite优化

作者认为自己写的代码已经很简练了,并没有什么可以优化的空间。

于是他将下一个目标转到了数据库的优化。

 

根据各种关于SQLite优化的建议,作者做了一些改进。

 

 

  • 关闭「journal_mode」将禁用回滚日志,也就是说,如果任何事务失败,都无法回滚。

  • 关闭「synchronous」,将使SQLite不再关心是否能可靠地写入磁盘,而是把这个责任交给操作系统。也就是说,可能会出现SQLite并没有成功写入磁盘的情况。

  • 「cache_size」指定了SQLite在内存中可以保留多少个内存页。

  • 当「locking_mode」为「EXCLUSIVE」模式时,SQLite锁住的连接将永远不会被释放。

  • 将「temp_store」设置为「MEMORY」可以让其表现像一个内存数据库。

此处作者提醒,请不要把这些操作用到生产上去。

重新审视Python

作者再次重写了Python脚本,这次包括了微调的SQLite参数,这次带来了巨大的提升,运行时间大幅减少:

  • 原始的for循环版本用时大约10分钟。

  • 批处理版本用时大约8.5分钟。

 

PyPy

PyPy在其主页上强调它比CPython快4倍,于是作者决定尝试一下。

 

令作者有些意外的是,竟然不需要对现有的代码进行任何改动,只需要在PyPy运行就可以了。

 

批处理版本只需要2.5分钟,也就是速度快了接近3.5倍。

 

Busy Loop?

莫非是在Python的循环上耗费了太多时间?于是作者删除了SQL指令之后再次跑了一遍代码:

  • 批处理版本在CPython中用时5.5分钟。

 

  • 批处理版本在PyPy中用时1.5分钟(又是3.5倍的速度提升)。

然而用Rust重写了相同的内容之后,循环只需要17秒。

于是,作者果断抛弃Python,转投Rust的怀抱。

 

  

Rust

像Python一样,作者先写了一个原始的Rust版本,一个循环执行一行数据的插入。

然而,即便使用了所有SQLite的优化,也依然消耗了大约3分钟。于是作者进行了进一步的测试:

 

  • 尝试把「rusqlite」换成异步运行的「sqlx」,这让用时直接被拉到了14分钟。作者表示,这比自己迄今为止写的任何一个Python迭代都要差。

  • 在执行原始SQL语句时,使用准备好的语句。这个版本的用时只有1分钟。

 

最优的版本

使用准备好的语句,以50行为一个批次插入,最终用时34.3秒。

 

作者又写了一个线程版本,其中一个线程从通道接收数据,还有四个线程向通道推送数据。

 

这个也是目前性能最好的版本,最终用时大约32.37秒。

 


IO时间

SQLite论坛上的网友提出了一个有趣的想法:测量内存数据库所需的时间。

 

于是作者又跑了一遍代码,将数据库的位置设定为「:memory:」,rust版本完成的时间少了两秒(29秒)。

 

也就是说将1亿条记录写入到磁盘上需要2秒,这个用时似乎也是合理的。

 

这也说明,可能没有更多的SQLite优化可以以更快的方式写入磁盘,因为99%的时间都花在生成和添加数据上。

 

排行榜

插入1亿行数据的用时:

Rust33秒
PyPy126秒
CPython210秒

总结

  1. 尽可能使用SQLite PRAGMA语句

 

  1. 使用准备好的语句

 

  1. 进行分批插入

 

  1. PyPy确实比CPython快4倍

 

  1. 异步不一定更快

目前,第二快的版本是单线程运行的,而作者的电脑有4个核心,于是他在一分钟内可以得到8亿行数据。然后再经过几秒钟的数据合并,时间仍然可以少于一分钟。

网友评论

博主的这一番研究获得了网友们的一致好评。

真的很喜欢这些观点:

  1. 学习了更多关于PRAGMA语句。

  2. PyPy的效率和灵活性可以通过即插即用的方式体现(将来一定会给它一个机会)。

  3. 文章的排版非常简单,有适当的源代码链接。很有趣,很容易上手。

Rust高光时刻又来了!

福利

入门Python的最强三件套《ThinkPython》、《简明Python教程》、《Python进阶》的PDF电子版已打包提供给大家,关注下方公众号,在后台回复关键字「P3」即可获取。

推荐阅读:入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|年度爆款文案1).卧槽!Pdf转Word用Python轻松搞定!2).学Python真香!我用100行代码做了个网站,帮人PS旅行图片,赚个鸡腿吃3).首播过亿,火爆全网,我分析了《乘风破浪的姐姐》,发现了这些秘密 4).80行代码!用Python做一个哆来A梦分身 5).你必须掌握的20个python代码,短小精悍,用处无穷 6).30个Python奇淫技巧集 7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货 8).再见Python!我要学Go了!2500字深度分析!9).发现一个舔狗福利!这个Python爬虫神器太爽了,自动下载妹子图片点阅读原文,领优惠券!
uvx:Rust 打造的 Python 通用执行引擎,告别 pip 等待税 Python 包执行本质上是依赖解析、wheel 获取、环境隔离与命令调用的组合过程;传统工具链(如 pip + venv)因多进程协作、Python 解释开销和冗余 I/O 导致显著延迟。uvx 基于 Rust 实现零拷贝解析、惰性构建与内存映射临时环境,将‘按需运行未安装包’变为默认行为,技术价值在于消除安装环节、压缩上下文切换、提升 CI/CD 吞吐效率。典型应用场景包括快速验证 CLI 工具(如 uvx ruff)、跨项目共享 dev-deps、Git Hooks 集成及离线确定性执行。其核心热词‘ 阅读详情

相关推荐

Rust在数据科学中的实战价值:内存安全、零成本抽象与Python协同

数据科学已从探索分析迈向可交付、可运维、可伸缩的系统工程。在此演进中,Rust凭借编译期内存安全、零成本抽象和无GIL并发模型,成为解决高并发模型服务、边缘推理与高性能特征工程等硬需求的关键技术。它不替代Python主导的建模生态,而是以crate绑定OpenBLAS/LAPACK/Arrow等工业级数值库,提供媲美C的性能与远超C的可靠性;通过pyo3实现无缝Python互操作,让数据科学家能在Jupyter中像调用原生模块一样使用Rust加速组件。本文聚焦生产级落地路径,涵盖ndarray矩阵计算、po

cuanjingyue4687的博客 410

快速批量插入1个亿的数据,适合大部分数据库的方法

????欢迎点赞 :???? 收藏 ⭐留言 ???? 如有错误敬请指正,赐人玫瑰,手留余香! ????本文作者:由webmote 原创,首发于 【掘金】 ????作者格言: 生活在于折腾,当你不折腾生活时,生活就开始折腾你,让我们一起加油!???????????? 序言 干大事,需要学会分解目标。 插入1个亿,可以分解为插入10个1000w数据,进而分成插入100个100w数据… 那么让我们从小研究,怎么插入100条数据? 1. 批量插入几百条数据 对大部分数据库来说,批量插入数据都是比较简单的事情,最

网尘的技术专栏 4553

Rust深度学习绑定:ONNX/Torch/Tract三大推理方案选型与生产实践

深度学习模型部署正从Python训练环境向高性能、低延迟、高确定性的生产环境迁移。Rust凭借零成本抽象、无GC停顿和静态内存安全,成为构建可信推理胶水层的理想语言。本文围绕模型格式解析(ONNX/TFLite/TorchScript)、运行时绑定(onnxruntime-rs/tch-rs/tract)与生产级配置(内存池、CUDA显存限制、线程安全会话)展开,深入解析Rust如何保障跨语言数据通道的完整性与时效性。重点覆盖ONNX协议校验、libtorch ABI稳定性、纯Rust IR优化等核心原理,

weixin_30682415的博客 430

1亿条数据批量插入 MySQL,哪种方式最快?

利用JAVA向Mysql插入一亿数量级数据—效率测评 这几天研究mysql优化中查询效率时,发现测试的数据太少(10万级别),利用 EXPLAIN 比较不同的 SQL 语句,不能够得到比较有效的测评数据,大多模棱两可,不敢通过这些数据下定论。 所以通过随机生成人的姓名、年龄、性别、电话、email、地址 ,向mysql数据库大量插入数据,便于用大量的数据测试 SQL 语句优化效率。、在生成过程...

程序员小明1024 710

UV:用Rust重写的Python包管理器与依赖解析新范式

Python依赖管理长期面临解析不确定、安装慢、环境不可复现等核心问题。其本质是传统基于回溯算法的pip resolver在复杂约束图中存在指数级时间复杂度,且依赖Python解释器执行导致状态耦合与性能瓶颈。UV通过Rust实现的SAT求解器resolver、零拷贝wheel链接installer和内容寻址cache,构建了声明式、确定性、高性能的新一代基础设施。它不替代pip命令语法,而是提供兼容且更严格的底层引擎,支撑可审计的锁文件生成(uv pip compile)、秒级虚拟环境同步(uv sync

weixin_34274029的博客 400

Rust编写的DeepSeek命令行工具deepseek-tui实战指南

命令行AI编程助手是开发者提升编码效率的基础工具,其核心在于轻量启动、流式响应与安全调用。基于Rust构建的终端交互工具,依托Tokio异步运行时和crossterm终端渲染,实现毫秒级冷启动与无闪烁SSE流式输出;通过系统Keyring加密存储API Key,兼顾便捷性与安全性。该类工具天然适配VS Code插件集成、Git Hook代码审查等工程场景,是连接大模型能力与本地开发工作流的关键枢纽。本文聚焦deepseek-tui这一典型Rust CLI实现,解析其安装配置、安全机制与深度集成方法。

weixin_30480075的博客 615

python脚本向Mysql插入一亿条测试数据

当我想要测试mysql的诸多索引时,需要用到大量的数据,重复的。不重复的,int类型的,varchar类型的,时间类型的等等,咋办呢?当你看到这篇博文的时候,恭喜你来对地方啦。 咱们废话少说,直接上代码 建表 首先在mysql的example库上创建表user use example; create TABLE `user` ( `id` int(11) NOT NULL, `last_name` varchar(45) DEFAULT NULL, `first_name` varchar(.

我就叫贝塔 1088

Rust实现的MCP终端Agent:本地化编程范式的重构

MCP(Model Communication Protocol)是一种面向终端AI编程的操作系统级通信协议,它重新定义了客户端、服务端、工具提供者与大模型之间的权责边界。其核心价值在于解耦能力调度与模型调用,支持零拷贝IPC、跨进程工具管理及强类型状态控制。相比传统LLM API依赖JSON正则解析的脆弱链路,MCP通过原生结构化tool_use响应显著提升Rust异步代码生成等高精度任务的稳定性。当前DeepSeek-v4-pro是少数原生支持MCP的商用模型,配合Rust实现的本地Agent,可实现离

weixin_34288121的博客 421

推荐:Fast SQLite Inserts - 亿级数据插入的高速解决方案

推荐:Fast SQLite Inserts - 亿级数据插入的高速解决方案 项目介绍 Fast SQLite Inserts 是一个专门针对如何快速在SQLite数据库中创建并插入十亿行随机数据的研究项目。通过对比不同编程语言(如Python的CPython和PyPy实现,以及Rust)的性能,此项目揭示了高效插入大量数据的最佳实践。该项目源于一篇详细的博客文章——《迈向一分钟内插入十亿行到SQ...

gitblog_00004的博客 470

本体防火墙:用OWL+Rust构建AI代理语义边界控制系统

本体(Ontology)是知识工程中定义概念、关系与逻辑约束的形式化模型,区别于JSON Schema的语法校验和规则引擎的命题逻辑,它基于描述逻辑(Description Logic)实现动态语义推理。其核心价值在于将领域知识转化为可执行的语义边界,支撑AI代理在医疗、金融等强合规场景中安全决策。技术上需融合OWL建模、Rust高性能运行时与SPARQL查询验证,兼顾类型安全、低延迟与可解释性。OntoGuard正是这一思想的工程落地——把本体编译为嵌入Agent执行链的轻量级守卫模块,实现从‘模型会不会

weixin_34246551的博客 377

10分钟本地部署AI Agent:OpenClaw+Hermes零GPU私有化实践

AI Agent(智能体)作为自动化任务编排与人机协同的核心范式,正从云端推理向轻量本地化演进。其本质是将浏览器操作、API调用、文件处理等原子能力封装为可调度的Skill(技能),通过无头运行时(如OpenClaw)完成决策链路,再由桌面前端(如Hermes)提供低延迟交互。这种‘小脑+反射弧’架构不依赖大模型本地推理,显著降低硬件门槛与数据外泄风险,适用于隐私敏感场景、中小团队MVP验证及边缘设备部署。本文聚焦本地化落地的关键路径:零CUDA依赖的Python原生部署、Skill能力契约设计规范、跨平台

congji3817的博客 707

【Rust日报】 2020-06-04 微软对 Rust 的热爱是怎么回事?

微软对 Rust 的热爱是怎么回事?就在前天【6月2号】,Rust 进入了 TIOBE 指数的前 20 名,它从第 38 位跃升到第 20 位,跃升了惊人的 18 位,这其实是挺罕见的。...

Rust语言学习交流 402

DeepSeek TUI:终端原生AI编程副驾驶,Rust+MCP架构解析

TUI(文本用户界面)是现代CLI工具进化的关键形态,它在无GUI环境下提供结构化交互能力;而MCP(Model Context Protocol)作为新兴的AI工具调用标准协议,正推动LLM从‘对话模型’转向可编排、可审计的智能代理。DeepSeek TUI正是这一技术演进的典型实践:以Rust构建低延迟、低内存的终端核心,通过MCP协议无缝集成Git、Shell、HTTP等本地工具链,实现Plan-Act-Browse三模态协同。它不依赖浏览器或桌面环境,专为高频终端开发者设计,适用于React Hoo

weixin_34067102的博客 450

5分钟快速上手Lapce:Rust驱动的闪电级代码编辑器

Lapce是一款用纯Rust语言编写的现代代码编辑器,它以其闪电般的速度和强大的功能正在迅速赢得开发者的青睐。如果你厌倦了传统编辑器缓慢的启动速度和臃肿的资源占用,那么Lapce绝对值得你尝试。这款编辑器不仅启动速度快如闪电,还内置了LSP支持、模态编辑、远程开发等专业功能,同时保持了极简的设计理念。 ## 为什么选择Lapce?三大核心优势解析 在选择代码编辑器时,我们通常关注速度、功能和资

gitblog_00602的博客 760

开源:AI+无人机巡检系统项目调研

本文系统梳理了主流开源无人机巡检技术栈,涵盖飞控系统(PX4/ArduPilot)、地面站软件(QGroundControl)、AI视觉识别(VisDrone/MPID/CPLID数据集)、三维重建(OpenDroneMap/COLMAP)和仿真模拟(AirSim/Gazebo)五大领域。通过对比各项目的技术特点、开发语言、开源协议及商用友好度,为无人机巡检产品开发提供完整的技术选型参考。重点推荐PX4飞控、DroneKit开发API等商用友好项目,同时分析了GPL/AGPL协议项目的开源要求。

lovehu6686的博客 2459

Win11+VSCode+TeXLive:学术党必备的LaTeX环境配置避坑指南(2024最新版)

本文详细介绍了如何在Windows 11系统下,通过VSCode编辑器与TeXLive发行版配置高效的LaTeX学术写作环境。针对国内用户常见的镜像下载慢、插件配置复杂等问题,提供了优化方案和避坑指南,帮助科研人员和学生快速搭建流畅的学术写作工作流。

plum99的博客 623

Agentic OS 源码安装指南:Rust+Node.js双栈协同部署

智能体协作平台(Multi-Agent System)正成为AI工程化落地的关键范式,其核心挑战在于跨智能体的状态同步、任务调度与故障恢复。Agentic OS 作为轻量级运行时框架,不替代操作系统,而是构建于 Rust 高并发调度内核与 Node.js 交互层之上,通过 IPC 通信实现低延迟、内存安全的智能体协同。它强调确定性版本锚定(如 Rust 1.75.0 + Node.js v20.11.1)、共享 Schema 契约(bincode 序列化)和进程级状态持久化,适用于需深度定制 AI 工作流的

weixin_34290096的博客 371

ubuntu17.04 UHD 驱动出错

ubuntu 17.04 源码安装UHD

xrh003的博客 1万+

DeepSeek-R1本地编程助手:Rust+llama.cpp离线代码补全实战

大语言模型(LLM)在代码补全场景中正从云端服务转向本地化部署,核心诉求是低延迟、高隐私与强可控性。其技术原理依赖轻量化推理引擎、高效上下文建模与原生UI协同渲染。Rust凭借内存安全与并发性能成为首选运行时,llama.cpp则通过GGUF量化实现模型压缩与跨平台推理,显著降低硬件门槛。DeepSeek-R1作为开源高性能代码模型,在Python/Go/Rust等多语言任务中展现优异泛化能力,配合AST感知的补全协议,可深度嵌入IDE工作流。本文聚焦于一个真实落地的Claude Code风格桌面工具,详解

weixin_34221112的博客 372

uniapp:人脸识别功能,已测试,直接复制源码,支持H5,APP安卓。不依赖任何js,SDK。

uniapp人脸识别功能,已测试可直接复制源码,支持H5,APP安卓。不依赖任何js,SDK。 APP效果图:

sunluyi的博客 2228

国科大学习资料--VLSI测试与可测试设计--2020期末考试试题

国科大学习资料–VLSI测试与可测试设计–2020期末考试试题 国科大学习资料–VLSI测试与可测试设计–2020期末考试试题 国科大学习资料–VLSI测试与可测试设计–2020期末考试试题 一、概念题 1简述可测试性测度与两个主要的测度指标的含义; 2以March C-算法为例,说明March算法的构成,以及March C-算法的故障覆盖率; 3“效果-原因”诊断法和“原因效果诊断法”的不同; 4列举四条扫描设计时出现的问 题及解决办法; 5最少写出1149.1与1500的五点不同; = = = = =

无名何许人的博客 1150
上一篇: 《最受欢迎的男友职业排行榜Top10》
下一篇: 分享3 个Python冷知识
菜鸟学Python
博客等级 码龄9年 8095粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值