sqlserver大批量数据插入 BULK INSERT

原创 已于 2023-08-23 14:38:45 修改 · 5.2k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqlserver

于 2020-11-17 11:46:04 首次发布
业务需批量插入大量数据，起初用Java多线程插入，后期数据入库不及时且数据库易卡死。现采用SQL Server的bulk insert批量插入，速度提升数十倍。文中给出插入语句，还提及CSV文件存放要求、写入服务器方式、自增序列处理及字段顺序要求。

业务需求需要批量插入大量数据,最开始使用java多线程进行插入,由于后期接入数据量越来越多导致数据入库不及时,且数据库经常异常卡死。

现在采用sqlserver的 bulk insert 批量插入数据,经过测试 8.5W条数据实际插入时间耗时 0.5~0.6s之间,相比之前多线程插入速度提升数十倍

//插入语句如下  此处csv路径为数据库服务器上的绝对路径

BULK insert bulk_insert from 'E:\data\heavy\GRID_202011161200.csv' WITH
(
    FIRSTROW = 2,
    FIELDTERMINATOR = ',',  --csv 字段分隔符
    ROWTERMINATOR = '\n',   --csv 换行符
    TABLOCK
)

备注: csv文件需要存放至sqlserver服务器硬盘上,否则sqlserver无法找到文件插入,如果担心空间损耗可以在插入后直接删除csv文件。

文件写入到数据库服务器可以通过windows文件夹自带的共享功能开通共享权限,挂载到业务服务器即可。

表中的自增序列可以用一行空数据代替
csv字段顺序必须与数据库字段顺序一一对应

SQL Server 批量插入数据的方式汇总及优缺点分析
shenjqiang的专栏
12-19 831
方法特点适用场景简单易用少量数据插入高效，适用于从文件中导入大量数据大型数据集导入OPENROWSET灵活，支持多种数据源灵活，支持多种数据源BCP 命令行工具快速，易于自动化自动化任务SqlBulkCopy 类在应用程序中高效执行批量插入应用程序集成简单高效，适合数据迁移数据迁移MERGE 语句灵活性高，适用于复杂的数据操作复杂的数据操作直接利用存储过程的结果存储过程结果插入。
SQL Server BULK INSERT
zxrhhm的博客
05-14 616
【代码】SQL Server BULK INSERT。
SQL SERVER BULK INSERT用法
04-17
SQL SERVER BULK INSERT用法
SQLServerBulkCopy大容量插入、更新操作
DRD
02-16 3024
代码 package com.ydfind.driver.ok; import com.microsoft.sqlserver.jdbc.SQLServerBulkCSVFileRecord; import com.microsoft.sqlserver.jdbc.SQLServerBulkCopy; import com.microsoft.sqlserver.jdbc.SQLServerBulkCopyOptions; import com.microsoft.sqlserver.jdbc.SQLSe
c# sqlserver大量插入数据解决方案
最新发布
如诗
10-17 303
本文介绍了使用SqlBulkCopy批量插入数据到SQL Server的方法。相比逐行插入，SqlBulkCopy能显著提升大数据量（1000行以上）的插入效率，支持分批处理、事务回滚和超时设置。文中提供了一个封装好的公共方法，通过事务确保数据一致性，并利用流式传输优化性能。使用时需注意实体类属性与数据库表字段的顺序需严格对应。示例展示了如何将用户数据批量插入到user表中，通过指定表名、数据集合、批次大小和超时时间即可完成高效批量操作。
数据库：关于BULK INSERT 学习笔记（2）
wenluderen的专栏
01-20 598
（书接上回） 数据库：关于BULK INSERT 学习笔记（1）_wenluderen的专栏-优快云博客 *** 上回完成外围的准备工作， 下面就是准备一个Sql语句， ** 甲： 得到一个语句的句柄， ret = SQLAllocHandle(SQL_HANDLE_STMT, L_hDbc, &hStmt_yuju);//基于设备句柄 得到语句句柄 ** 乙： ODBC学习笔记—SQLSetStmtAttr_不上进的程序员-优快云博客 ** ret = SQLSet
Sql server bulk insert
01-26 1037
Bulk Insert Sql server 的bulk insert语句可以高效的导入大数据量的平面文件（txt，csv文件）到数据库的一张表中，其用法如下： bulk insert test from 'f:\test.txt' with (fieldterminator=',', rowterminator='\n') 其中"test"是数据库表的名字，"...
(总结) SQL Server Bulk Insert 批量数据导入
Robert's Log
03-31 1334
From:http://rsljdkt.iteye.com/blog/1147707SQL Server的Bulk Insert语句可以将本地或远程的数据文件批量导入到数据库中，速度非常的快。远程文件必须共享才行，文件路径须使用通用约定（UNC）名称，即"\\服务器名或IP\共享名\路径\文件名"的形式。 * 1. 由于Bulk Insert通常配合格式化文件批量导入数据更方便，所以这里先介绍bc
使用BULK INSERT大批量导入数据 SQLSERVER
09-11
### 使用BULK INSERT大批量导入数据到SQL Server 在数据库管理与开发中，高效地导入大量数据是一项重要的技能。SQL Server 提供了多种方法来处理此类需求，其中`BULK INSERT`命令因其简单且高效的特性而被广泛使用...
SQLServer 批量插入数据的两种方法
09-11
为了提高批量插入数据的效率，SQL Server提供了两种主要的方法：Bulk Insert和表值参数（Table-Valued Parameters）。 1. **Bulk Insert**： Bulk Insert允许我们一次性将大量数据从一个数据源（如文件或内存中的...
NET实现大批量Excel数据导入SQL SERVER.pdf
09-19
本文将探讨.NET环境下实现大批量Excel数据导入SQL Server的不同方法，并对这些方法的效率进行分析。 首先，管理人员往往习惯于将记录保存在Excel文件中作为存档，随后通过管理系统的数据导入功能实现数据批量导入。...
Bulk Insert命令详细
xiongmimi的博客
01-15 1598
Bulk Insert命令详细 BULK INSERT以用户指定的格式复制一个数据文件至数据库表或视图中。 语法： [code="SQL"] BULK INSERT [ [ 'database_name'.][ 'owner' ].]{ 'table_name' FROM 'data_file' } WITH ( [ BATCHSIZE [ = batch...
sql server Bulk Insert命令详细
01-21
BULK INSERT以用户指定的格式复制一个数据文件至数据库表或视图中。 语法： BULK INSERT [ [ 'database_name'.][ 'owner' ].]{ 'table_name' FROM 'data_file' } WITH ( [ BATCHSIZE [ = batch_size ] ], [ CHECK_CONSTRAINTS ], [ CODEPAGE [ = 'ACP' | 'OEM' | 'RAW' | 'code_page' ] ], [ DATAFILETYPE [ = 'char' | 'native'| 'widechar' |
Sql Server海量数据插入(BULK INSERT 执行数据文件)
热门推荐
坚定的走
07-18 2万+
BULK INSERT 语法 参数说明 　　database_name 　　指定的表或视图所在的数据库的名称，如果未指定，则默认为当前数据库。 　　schema_name 　　表或视图架构的名称。 　　table_name 　　要将数据大容量导入其中的表或视图的名称。 　　‘data_file’ 　　数据文件的完整路径，该数据文件包含到导入到指定表或视图中的数据。使用BULK...
SQLServer Bulk insert 操作
地球人是我哈的博客
03-18 3045
SQLServer Bulk insert 操作 之前一直使用的方式为：jdbc batch insert，多条数据做一次提交，由于此方法太慢了，发现sqlserver 有bulk insert 这种提交方式，具体操作如下： 1. 创建sqlserver 表 CREATE TABLE [dbo].[bulk_test] ( id varchar(200), name nvarchar(200), age varchar(200), sex varchar(200), ) 2. 生成待导入文
使用BULK INSERT高效导入大量数据到SQL Server数据库
weixin_33882443的博客
01-08 856
源数据 (文本文件)         下载了大量的股票历史数据, 都是文本格式的:         每个文件第一行包含股票代码, 股票名称, 数据类型. 第二行是数据列的名称: 数据表         在数据库中新建了一个数据表TestStock, 并设置以下字段, 但没有关于"成交额"的字段, 因为以后的计算不会用到这个数据. 另外这里关于价格的字段没有使用money数据类型, ...
SQL Server中高效数据导入：使用BULK INSERT命令
weixin_42613018的博客
07-28 1428
是SQL Server提供的一种高效的数据导入方式，允许用户将存储在操作系统文件中的数据批量导入到数据库表中。此功能特别适合进行大规模数据迁移或初始化数据库操作，相较于逐条插入数据，能够显著提高导入性能。对于复杂的数据导入，使用格式文件可以更好地控制导入过程，尤其是当数据文件的结构和目标表不完全匹配时。格式文件定义了数据文件的布局和如何将这些数据映射到目标表的字段。格式文件可以是XML格式或非XML格式。以下是创建一个简单的XML格式文件format.xml的例子：<RECORD>
SQL Server中采用BULK INSERT实现大数据量文本文件批量导入
sage425的专栏
11-17 1863
SQL语句：BULK   INSERT   dbo.table       FROM   'e:/test.tbl '       WITH               (                   FIELDTERMINATOR   = '   | ',                   ROWTERMINATOR   = '/n '             ) ------------------------------------------------------------- test
C# BULK INSERT导入大数据文件数据到SqlServer
Marzlam的博客
03-24 1226
优先选择 SqlBulkCopy：适用于客户端数据源，无需处理文件权限。BULK INSERT 补充场景：适合服务器端已有标准化数据文件的定期导入。优化核心参数：合理设置批处理大小、锁机制及错误容忍度，结合业务需求选择编码与格式控制策略。
EF6 sqlserver 插入大批量数据性能慢优化
09-10
在EF6中，向SQL Server插入大批量数据时，如果遇到性能瓶颈，可以考虑以下几个优化策略： 1. **启用数据库表级锁**：开启BULK INSERT的`WITH (TABLOCK)`选项，可以减少行级别的锁定，提高并发插入速度。但是要注意...
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值