django使用innodb类型表commit

最新推荐文章于 2024-10-26 10:23:49 发布
最新推荐文章于 2024-10-26 10:23:49 发布
阅读量910 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/alpslzy/article/details/8605457
本文介绍在使用Django ORM执行InnoDB存储引擎上的删除操作时，如何确保更改被正确提交到数据库。文中提供了两种有效的方法来完成事务提交，并避免因未执行commit导致的数据不一致问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

from django.db import connection   
cursor = connection.cursor()   
cursor.execute("delete from event where id=%s",[event_id])   
cursor.close()

 

innodb在上面情况下，不会生效，cursor.close() 并没有进行commit操作

两种解决方法：

1，

cursor.execute("commit")   
cursor.close()

 

2,

connection.close()

通过查看代码：

Lib\site-packages\django\db\backends\__init__.py

如何理解Django的save(commit=False)方法和save_m2m()方法
大江狗
05-31 8315
什么时候使用save(commit=False)方法，save_m2m方法以及如何使用是Django表单forms进阶必需了解的知识。我们今天就带你来看一看。何时使用save(commit=False)方法Stackoverflow上其实已经有了一段非常精炼的答案。英文原文如下，我把它翻译了一下:That's useful when you get most of your model data ...
MySQL行锁，Django-ORM实现行锁，行锁实现乐观锁和悲观锁
AZURE060606的博客
06-29 406
MySQL 中只有InnoDB 引擎支持行级锁。行锁是在执行 DML 操作（如。语句用于在事务中对选定的行加锁。
django 设置默认建表引擎为innodb
weixin_30597269的博客
12-07 675
由于外键只支持innodb，故必须让默认的表引擎为innodb 1.可通过修改mysql的设置，在my.cnf 添加一行 default-storage-engine=INNODB，重启引擎，这样mysql <<show engines 就可以看到默认引擎为INNODE了。 2.设置django的project的setting.py里面的database相关的...
Django的save(commit=False)方法和save_m2m()方法
bocai_xiaodaidai的博客
09-17 1830
首先说明save(commit=False)和save_m2m()都是form表单的方法。 django中有时候需要使用form.save(commit=False)方法，更新对象属性，但并不向数据库真正提交数据，举个博客的例子吧，登录之后，写博客，然后保存博客的内容。博客的有些内容是在界面上由用户填写的，有些内容是在后台添加的。例如，用户姓名之类的。 　　这样的话就需要在form.save(...
Django form表单中的 form.save(commit=False)用法
qq_42724283的博客
04-27 1456
最近在用Django，做个关于表单的笔记 form = NewTopicForm(request.POST) #form是包含topic类的一个实例 if form.is_valid(): subject = form.cleaned_data.get('subject') topic = form.save(commit=False)#生成一个Topic类的实例对象 topic.subject = subject
200万条数据，测试引擎为InnoDB数据表，非唯一btree索引对查询耗时的影响
芒果屋
07-13 262
CREATE TABLE `soldier_2` ( `soldier_id` int(11) NOT NULL DEFAULT '0' COMMENT '士兵ID', `role_id` bigint(20) NOT NULL COMMENT '玩家ID', `num` int(11) DEFAULT '0' COMMENT '士兵数量', `lv` int(11) NOT NU...
Django进阶：事务操作、悲观锁和乐观锁(附代码演示)
大江狗
05-16 1249
事务处理(transaction)对于Web应用开发至关重要, 它可以维护数据库的完整性, 使整个系统更加安全。比如用户A通过网络转账给用户B，数据库里A账户中的钱已经扣掉，而B账户在接收...
Python基于Django财务管理系统
anran_06的博客
10-26 1762
Python环境和Django框架实现的一个财务管理系统
python django实战pycharm_Django实战入门简易教程
weixin_33933280的博客
02-19 683
Hello各位小伙伴，很久没有在简书上更新文章了，好久不见去年的这个时候由于暑假比较无聊，便在微信上跟着一群小伙伴自学了Python Web开发框架Django，但由于当时代码功力尚浅(现在也浅)，学了一段时间后还是有些晕，便一直没有继续学下去碰巧这段时间开始实习，由于工作需要不得不重新拾起Django。花了两天时间重新学习，并将这个过程记录下来，一方面是方便自己以后随时回顾防止遗忘，另一方面希望...
初探 Django 事务
热爱，热情，乐此不疲的专栏
04-09 288
初探 Django 事务 数据库事务（简称：事务）是数据库管理系统（DBMS）执行过程中的一个逻辑单位，由一个有限的数据库操作序列构成。试想下面这个例子： 当A需要在商店中购买商品，需花费100元，A通过手机扫码完成支付，涉及到金额的变化如下： 该人账户减少100元 商店账户增加100元 如果这两步不能同时在系统上完成，则有可能出现两种异常情况： 该人账户余额没有减少，商店账户增加100元 该人账户减少100元，商店账户没有增加。 无论是哪一种，对于金融行业来说，都是无法容忍的。如果支付宝频繁出现此
使用django框架的connection对象需要注意的一点
weixin_34336526的博客
11-12 1627
2019独角兽企业重金招聘Python工程师标准>>> ...
Django 事务小结
一个有趣、有料、有内涵的地方!
09-28 208
官方关于事务的说明 Django 默认的事务行为(Django’s default transaction behavior) Django 默认情况下是运行...
关于django项目的DATABASES setting
weixin_39528264的博客
12-02 2455
"OPTIONS": {"init_command": "SET storage_engine=INNODB;"} 会报错，正确的解决非法为： "OPTIONS": {"init_command": "SET default_storage_engine=INNODB;"}
Django的数据库操作的游标(cursor)方法
昊虹AI笔记
07-06 2636
Django的数据库操作的游标(cursor)方法
django创建表时附加数据库自定义选项的方法——如指定数据库的存储引擎
胡振伟博客
09-14 6955
<br /> <br />    在使用django的syncdb创建表时，如果想给建表SQL附加特定的选项——比如MySQL数据库默认存储引擎是MyISAM，但想让所有新建的表都为InnoDB引擎的——可以通过增加settings.py文件里的DATABASES里的选项来实现，也可以通过自动执行initial SQL data来实现。<br /> <br /> <br />    一. 修改settings.py的方式<br /><br /><br />    在DATABASES字典的数据库实例中增加O
python如何连接mysql数据库、连接connect、游标对象cursor()、执行execute(变量)、取值fetchone()、commit()、autocommit=True
水亦流人必上的博客
07-30 2518
import pymysql #第一步、打开数据库连接、需要哪些准备呢、1：主机地址，2：端口号，3：用户名，4：密码，5：数据库名，6：还要编码 db=pymysql.connect(host='localhost',port=3306,user='sa',passwd='123456',db='test',charset='utf8') #连接上了、下一步还要创建一个游标对象 cussor()、只有创建了游标才可以对mysql进行写语句 cursor=db.cursor() #下一步就是写sql.
Python笔记06
Jlb520629的博客
07-14 4977
python操作数据库 1.python中的两个对象 1.连接对象 connection 作用：创建一个python程序到数据库的 连接通道 和jdbc连接是一个道理 方法： cursor 创建游标 commit 提交事务 rollback 事务回滚 参数： 1.mysql服务器地址 IP 2.端口号 port 3306 用户名 user root 密码 password root 数据库 database test 字符集 charset 2.游标对象 cursor 是操...
django中使用cursor.execute更新数据库问题?
yzjklove的专栏
12-09 2797
执行数据库删除，使用了django的cursor.execute(sql)进行删除数据，发现了奇怪问题，有时候可以执行成功，有的时候执行不成功。 通过SQL的监控看到SQL语句是正常的，就是没有执行commit 代码应该是没问题的： [code="java"] from django.db import connection cursor = connection.cu...
Django transaction进行事务管理踩过的坑
热门推荐
Chrispink
08-30 1万+
概要 Transaction是django进行数据库原子性操作在python层面上的实现. 简单来说, 被transaction.atomic()包裹的代码块只在代码块顺利完成后进行数据库层面的commit.实际开发当中,遇到了一些问题. 1. transaction事务内不执行数据库的commit操作,除非手动commit 代码场景: 在事务当前启动celery异步任务, 无法获取未...
如何处理十亿级MySQL表的主键变更操作？
最新发布
06-07
<think>我们面临的是十亿级数据表的主键变更操作，这属于高风险操作。核心难点在于：1.数据量大，直接ALTERTABLE会导致长时间锁表（可能数小时甚至数天）2.主键变更涉及所有二级索引的重建（InnoDB中二级索引叶子节点存储的是主键值）3.磁盘空间占用剧增（需要额外的空间存储临时表）解决方案必须围绕以下目标：-最小化锁表时间（理想是秒级）-可控的资源消耗（IO/CPU/内存）-可中断且可恢复的操作过程以下是分阶段实施方案：</think> ### 高效处理十亿级MySQL表主键变更的专业方案 在十亿级数据表上更改主键是极具挑战性的操作，需要精心设计的策略来避免长时间锁表和服务中断。以下是经过验证的分步解决方案： #### 核心思路：无锁变更 + 增量迁移 ```mermaid graph TD A[开始] --> B{当前主键是自增ID？} B -->|是| C[创建无主键新表] B -->|否| D[设计代理键] C --> E[使用pt-archiver增量迁移] E --> F[数据一致性验证] F --> G[原子切换表名] G --> H[重建二级索引] H --> I[完成] ``` #### 1. 前期准备（关键步骤） ```sql -- 1.1 分析当前表结构 SHOW CREATE TABLE billion_row_table; -- 1.2 创建影子表（无自增主键） CREATE TABLE billion_row_table_new ( id BIGINT UNSIGNED NOT NULL, data VARCHAR(255), -- 添加其它列... new_pk_col VARCHAR(64) NOT NULL, -- 新的主键列 PRIMARY KEY (new_pk_col) -- 新主键定义 ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED KEY_BLOCK_SIZE=8; -- 1.3 创建变更记录表 CREATE TABLE pk_change_log ( id BIGINT PRIMARY KEY, processed TINYINT DEFAULT 0, change_time TIMESTAMP ); ``` #### 2. 数据迁移工具（pt-archiver脚本） ```bash #!/bin/bash # pt-archiver增量迁移脚本 BATCH_SIZE=10000 THREADS=32 pt-archiver \ --source h=localhost,D=mydb,t=billion_row_table \ --dest h=localhost,D=mydb,t=billion_row_table_new \ --no-check-charset \ --progress 100000 \ --statistics \ --bulk-insert \ --bulk-delete \ --limit $BATCH_SIZE \ --commit-each \ --optimize-before-archive \ --where "id NOT IN (SELECT id FROM pk_change_log WHERE processed=1)" \ --replace \ --no-delete \ # 保留源表数据直到验证完成 --threads $THREADS \ --sleep 0.5 \ --why-quit \ --exec-after-archive "CALL log_processed_ids($BATCH_SIZE)" ``` #### 3. 配套存储过程 ```sql DELIMITER $$ -- 记录已迁移ID CREATE PROCEDURE log_processed_ids(IN batch INT) BEGIN INSERT INTO pk_change_log (id, processed) SELECT id, 1 FROM billion_row_table ORDER BY id DESC LIMIT batch; END$$ -- 数据验证过程 CREATE PROCEDURE verify_data_consistency() BEGIN -- 总量验证 SELECT COUNT(*) AS src_count FROM billion_row_table; SELECT COUNT(*) AS dest_count FROM billion_row_table_new; -- 抽样验证（1%样本） SELECT A.*, B.* FROM billion_row_table A LEFT JOIN billion_row_table_new B ON A.id = B.id WHERE A.id MOD 100 = 0 AND A.data != B.data; -- 此处替换实际数据列 -- 新主键唯一性验证 SELECT new_pk_col, COUNT(*) FROM billion_row_table_new GROUP BY new_pk_col HAVING COUNT(*) > 1; END$$ DELIMITER ; ``` #### 4. 灰度切换方案 ```python from django.db import connection def atomic_switch(): try: with connection.cursor() as cursor: # 停止写入（应用层配合） notify_application('MAINTENANCE_START') # 最终增量同步 cursor.execute(""" INSERT INTO billion_row_table_new (id, data, new_pk_col) SELECT id, data, /* 主键生成逻辑 */ FROM billion_row_table WHERE id NOT IN (SELECT id FROM pk_change_log) """) # 原子切换 cursor.execute("RENAME TABLE billion_row_table TO billion_row_table_old, billion_row_table_new TO billion_row_table") # 重建索引（在线） cursor.execute("ALTER TABLE billion_row_table ADD INDEX (data), ALGORITHM=INPLACE") except Exception as e: # 自动回退 cursor.execute("RENAME TABLE billion_row_table TO billion_row_table_error, billion_row_table_old TO billion_row_table") raise e finally: notify_application('MAINTENANCE_END') ``` #### 5. 性能优化配置 ```ini # my.cnf 关键配置 [mysqld] innodb_buffer_pool_size = 64G # 分配足够内存 innodb_io_capacity = 20000 # SSD配置 innodb_parallel_read_threads = 32 innodb_flush_log_at_trx_commit = 2 # 迁移期间降低持久化要求 skip-log-bin # 禁用二进制日志（迁移期间） max_allowed_packet=1G [pt-archiver] bulk-insert=5000 progress=100000 statistics=yes ``` #### 6. 灾难恢复方案 ```sql -- 快速回滚路径 DROP TABLE IF EXISTS billion_row_table_error; RENAME TABLE billion_row_table TO billion_row_table_abandoned, billion_row_table_old TO billion_row_table; -- 使用新主键重建原有索引 ALTER TABLE billion_row_table DROP INDEX idx_data; ALTER TABLE billion_row_table ADD PRIMARY KEY (id); ``` ### 操作关键要点 1. **时间窗口选择**：在业务低峰期操作（根据SHOW GLOBAL STATUS估算TPS） 2. **资源准备**：预留200%的磁盘空间（原始表空间 × 2.5） 3. **监控指标**： - `Innodb_rows_inserted/s`（插入速度） - `Threads_running`（并发连接数） - `Disk_io_utilization`（IO利用率） 4. **灰度发布**：先迁移10万行验证流程 --- ### 替代方案比较 | 方案 | 适用场景 | 优点 | 缺点 | |------|----------|------|------| | pt-online-schema-change | < 5亿行 | 自动管理流程 | 需重建全表 | | gh-ost | OLTP环境 | 读负载低 | 大表切换有风险 | | MySQL 8.0 Online DDL | 小范围修改 | 原生支持 | 实际仍有锁 | | **本文方案** | 十亿级迁移 | 秒级切换时间 | 操作复杂 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值