mysql engine csv_MySQL table engine

最新推荐文章于 2025-03-09 09:03:23 发布
原创 最新推荐文章于 2025-03-09 09:03:23 发布 · 123 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql engine csv

本文详细介绍了MySQL5.7中默认的InnoDB存储引擎，对比MyISAM引擎，阐述了InnoDB的特点如事务安全性、一致性读取、外键约束等，并说明了如何选择合适的存储引擎。

5.7 默认使用的是 InnoDB engine

常见的 engine 类型， MyISAM 与 InnoDB 的区别

大部分情况下，采用默认的 InnoDB 即可

InnoDB: The default storage engine in MySQL 5.7. InnoDB is a transaction-safe (ACID compliant) storage engine for MySQL that has commit, rollback, and crash-recovery capabilities to protect user data. InnoDB row-level locking (without escalation to coarser granularity locks) and Oracle-style consistent nonlocking reads increase multi-user concurrency and performance. InnoDB stores user data in clustered indexes to reduce I/O for common queries based on primary keys. To maintain data integrity, InnoDB also supports FOREIGN KEY referential-integrity constraints.

除非数据量大到需要放弃事务的时候，再考虑 MyISAM 吧

MyISAM is slightly faster than InnoDB, and implements the FULLTEXT index which is quite useful for integrating search capabilities. MyISAM is not transacted and doesn't implement foreign key constraints, which is a major drawback.

除了 MySQL table 可以指定 engine 之外，database 是否也可以指定 engine

database 没有 engine 的概念，只有 table 有。

所以，同一个 database, 不同的表可以采用不同的 engine。

You are not restricted to using the same storage engine for an entire server or schema. You can specify the storage engine for any table. For example, an application might use mostly InnoDB tables, with one CSV table for exporting data to a spreadsheet and a few MEMORY tables for temporary workspaces.

如何查看表的 engine 类型

SHOW TABLE STATUS\G;

例如，wordpress 的各数据表 engine 类型都是 InnoDB

90aed70b9e9774741b226dc183fe30b0.png

参考

MySql导入CSV文件或制表符分割的文件
09-09
MySQL是一种广泛使用的开源关系型数据库管理系统，它支持多种数据导入方法，包括从CSV（逗号分隔值）文件和制表符分割的文件导入数据。在本文中，我们将详细讨论如何在MySQL中执行这两种导入操作。 首先，为了导入...
Mysql 导入导出csv 中文乱码问题的解决方法
09-10
在使用MySQL进行CSV数据导入和导出的过程中，中文乱码问题常常困扰着用户。这个问题主要源于字符编码不一致，导致中文字符无法正确显示。本文将详细介绍如何解决Mysql在处理CSV文件时出现的中文乱码问题。 首先，...
Mysql 中的 table engine ，及各种engine的区别和作用
热门推荐
tankejin的专栏
12-30 1万+
存储引擎是什么？ MySQL中的数据用各种不同的技术存储在文件(或者内存)中。
Mysql的存储引擎之：CSV存储引擎
阅读之后，对你有帮助，那就点个赞再走吧
03-24 1316
CSV存储引擎是基于CSV格式文件存储数据的。 建立CSV存储引擎的表 建立一个基于csv存储引擎的表table_csv(注意字段要非空) [sql]view plaincopyprint? mysql>createtabletable_csv(idintnotnull,namevarchar(10)notnull)engine=csv; ...
mysql engine csv_Mysql：The CSV Storage Engine
weixin_35696092的博客
02-05 168
注意：1)表定义(换句话说)数据列必须不能为空Null！2)修复表，极有可能丢失数据16.4The CSV Storage EngineThe CSV storage engine stores data in text files using comma-separated values format.The CSV storage engine is always compiled into...
mysql engine csv_MySQL的存储引擎之CSV
weixin_42309456的博客
02-17 369
CSV引擎以逗号分隔方式将数据存储在文本文件中。创建CSV表时，MySQL在数据库目录中创建表格式文件，文件名以表名开头，扩展名为.frm。创建纯文本数据文件，文件名以表名开头，扩展名为.CSV。将数据存储到表中时，CSV引擎以逗号分隔方式保存数据到文件中。root@database-one 23:27: [gftest]> create table testcsv(i INT NOT N...
-DWITH_CSV_STORAGE_ENGINE
04-03
好的，我现在需要解释一下MySQL的-DWITH_CSV_STORAGE_ENGINE这个编译选项。首先，我得确认用户的问题是什么，他们可能是在编译MySQL的时候遇到了相关选项，或者想了解存储引擎的类型。用户可能是开发者或者数据库...
mysql 导出CSV文件 并带表头的方法
09-09
mysql> CREATE TABLE test ( id INT(10) NOT NULL AUTO_INCREMENT PRIMARY KEY, name VARCHAR(10) NOT NULL, age TINYINT(2) NOT NULL ) ENGINE=INNODB DEFAULT CHARSET=utf8; mysql> INSERT INTO test(`name`, ...
import pymysql import pandas as pd import os import csv from sqlalchemy import create_engine, text from sqlalchemy.exc import SQLAlchemyError def import_csv_to_mysql(config): """ 将CSV文件数据导入MySQL数据库 参数: config (dict): 包含数据库连接和文件信息的配置字典 返回: bool: 导入成功返回True，失败返回False """ try: # 检查CSV文件是否存在 if not os.path.exists(config['csv_path']): raise FileNotFoundError(f"CSV文件不存在: {config['csv_path']}") # 创建数据库连接 connection_str = f"mysql+pymysql://{config['user']}:{config['password']}@{config['host']}/{config['database']}" engine = create_engine(connection_str, echo=False) # 获取目标表结构 with engine.connect() as conn: result = conn.execute(text(f"DESCRIBE `{config['table']}`")) table_columns = [row[0] for row in result] print(f"目标表 '{config['table']}' 的列: {table_columns}") # 读取CSV文件 with open(config['csv_path'], 'r', encoding=config.get('encoding', 'utf-8')) as f: csv_reader = csv.reader(f, delimiter=config.get('delimiter', ',')) headers = next(csv_reader) # 列映射检查 missing_columns = set(table_columns) - set(headers) if missing_columns: print(f"⚠️ 警告: CSV中缺少表列: {missing_columns}") column_mapping = {header: header for header in headers if header in table_columns} print(f"列映射: {column_mapping}") data_rows = [] for row in csv_reader: # 跳过空行 if not any(row): continue # 创建映射行 mapped_row = {} for csv_col, value in zip(headers, row): if csv_col in column_mapping: db_col = column_mapping[csv_col] mapped_row[db_col] = value data_rows.append(mapped_row) # 检查是否有有效数据 if not data_rows: print("❌ CSV文件中未找到有效数据") return False # 分批导入参数 chunk_size = 1000 total_rows = len(data_rows) success_count = 0 # 创建临时表 temp_table = f"temp_{config['table'].lower()}_{os.getpid()}" with engine.begin() as conn: # 创建临时表 conn.execute(text(f"CREATE TEMPORARY TABLE `{temp_table}` LIKE `{config['table']}`")) # 分批处理数据 for i in range(0, total_rows, chunk_size): # 获取当前批次数据 chunk = data_rows[i:i + chunk_size] # 转换为DataFrame并处理空值 df_chunk = pd.DataFrame(chunk) df_chunk = df_chunk.where(pd.notnull(df_chunk), None) try: # 导入到临时表 df_chunk.to_sql( name=temp_table, con=conn, if_exists='append', index=False ) success_count += len(chunk) print(f"✅ 已插入 {success_count}/{total_rows} 条记录") except Exception as e: print(f"❌ 批量插入失败: {e}") print(f"问题数据示例: {chunk[0] if chunk else '无数据'}") return False # 从临时表导入目标表 try: cols = ', '.join([f'`{col}`' for col in column_mapping.values()]) insert_sql = f""" INSERT INTO `{config['table']}` ({cols}) SELECT {cols} FROM `{temp_table}` """ conn.execute(text(insert_sql)) print(f"🎉 成功导入 {success_count} 条记录到表 '{config['table']}'") # 清理临时表 conn.execute(text(f"DROP TEMPORARY TABLE IF EXISTS `{temp_table}`")) return True except SQLAlchemyError as e: print(f"❌ 最终导入失败: {e}") return False except Exception as e: print(f"❌ 导入过程出错: {e}") return False # 使用示例 if __name__ == "__main__": # 配置参数 IMPORT_CONFIG = { 'host': 'localhost', # 数据库主机 'user': 'root', # 数据库用户名 'password': '123456', # 数据库密码 'database': 'bdpd_rmv', # 数据库名称 'table': 'RMV_KDSQ_MODEL_MODEL_INFO', # 目标表名 'csv_path': r'D:\历史项目留存2\诺褀2025\python加工浦发模型模拟\底层表模拟\RMV_KDSQ_MODEL_MODEL_INFO.csv', # CSV文件路径 'delimiter': ',', # CSV分隔符 'encoding': 'gbk' # 文件编码 } print("=== CSV数据导入MySQL ===") print(f"源文件: {IMPORT_CONFIG['csv_path']}") print(f"目标表: {IMPORT_CONFIG['table']}") # 执行导入 result = import_csv_to_mysql(IMPORT_CONFIG) # 输出结果 if result: print("✅ 数据导入完成") else: print("❌ 数据导入失败") 逐步解析这边的代码我是小白，第一次接触
最新发布
07-23
engine = create_engine(f"mysql+pymysql://{user}:{password}@{host}/{database}") ``` ##### (3) 获取目标表结构 ```python with engine.connect() as conn: result = conn.execute(text(f"DESCRIBE `{table}`...
MySQL 事件跟踪器 , MySQL 无须重启服务 跟踪 SQL , 也无须配置日志
weixin_33882452的博客
05-14 133
第一步 创建以下两个 日志表 按 Ctrl+C 复制代码 按 Ctrl+C 复制代码 CREATE TABLE `general_log` ( `event_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMEST...
学习MySQL的CSV存储引擎
常备不懈
02-04 1616
MySQL的CSV存储引擎提供了一种方便的方式来处理逗号分隔值数据，尤其是在数据导入导出和简单分析方面。虽然它的使用受到一些限制，比如不支持索引和分区，以及所有列必须为NOT NULL，但它的简单性和广泛的格式支持使其成为特定场景下的理想选择。
Mysql中的engine
小赵的博客
03-14 1071
优点：速度快，磁盘空间占用少；某个库或表的磁盘占用情况既可以通过操作系统查相应的文件（夹）的大小得知，也可以通过SQL语句SHOW TABLE STATUS查得缺点：没有数据完整性机制，即不支持事务和外键。
mysql table engine,我如何知道mysql表是否使用myISAM或InnoDB Engine？
weixin_28993311的博客
02-26 194
In MySQL, there is no way to specify a storage engine for a certain database, only for single tables. However, you can specify a storage engine to be used during one session with:SET storage_engine=I...
csv文件、mysql表
JaweG
02-11 1039
mysql
MySQL 存储引擎详解之 CSV 引擎
03-09 1295
MySQL 作为全球最受欢迎的关系型数据库管理系统（RDBMS），提供了多种存储引擎（Storage Engine），如 **InnoDB、MyISAM、Memory、CSV** 等。不同的存储引擎适用于不同的应用场景，而 **CSV 引擎** 是一个相对特殊的存储引擎，适用于数据导入导出、轻量级存储等场景。本篇文章将深入解析 **MySQL CSV 存储引擎**，包括其 **特点、工作原理、应用场景、优缺点**，并演示 **如何创建 CSV 表、导入/导出数据**，以及 **CSV 引擎的使用限制与优化建
mysql table engine_mysql - Table doesn't exist in engine
weixin_39888049的博客
02-01 1082
锐英源精品开源，禁止转载和任何形式的非法内容使用，违者必究mysql - Table doesn't exist in engine背景最近发布一个测试软件平台给客户，用到数据库，把mysql下面data目录下文件压缩下发给客户，让客户停止mysql服务器再启动，访问此数据库时，有一个表可以，另外表访问时报：Table doesn't exist in engine。我根据提示删除了idb文件，再...
MySQL数据库CSV存储引擎的使用（转）
技术行者
03-16 2454
MySQL有很多存储引擎，这里并不过多介绍，今天主要是简单说说CSV存储引擎，个人认为CSV是MYSQL中相对比较简单而且方便的存储引擎了，说它简单是因为其创建和使用简单，说它方便，是因为它的数据存储文件格式就是通用的CSV文件格式，这种格式很普遍，很多软件都支持，当然应用的面也比较窄，主要用于方便输出数据为通用的CSV报表格式的时候，通常情况下还是用的比较少。下边具体说说该存储引擎的使用：1.M
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值