mysql快速高效导入数据

大数据-hive操作实例详细过程讲解(包括建表、创造数据txt文件、将文件数据加载到hive表中) 一、建表语句 create table pt_log_20210202(id int, name string, pass string, mail string, nickname string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile; 代码说明:这段代码在hive>中执行,create后面是基本的sql语... 阅读详情

声明:该文章参考其他博文,总结而成。


方式一、load data infile


load data local infile 待导入数据文件路径

into table 表名

CHARACTER SET 字符集

fields

terminated by 字段之间分隔符

lines terminated by 不同行之间分隔符


举一个实例:

load data local infile 'C:/Users/zmcc/Desktop/sql_data_gbk.dat'

into table t_name

CHARACTER SET gbk

fields

terminated by '\t'

lines terminated by '\r\n'


说明:

1、行分隔符选择“\r\n”、“\n”

2、待导入文件格式建议选择gbk,原因是utf8文件头常容易导致一些小bug

3、与2对应,导入语句中用CHARACTER SET gbk

 


 

#------------

这里顺便提一下跟“换行”相关的几个符号

\r 回车 carriage return 使光标回到行首

\n 换行 new line 使光标下移一格

\r\n 回车换行

自己的感觉是一行的末尾跟着的是\r\n(顺序是重要的)

还有一个说法是,上述三种使用方式还跟操作系统有关系,unix/linux, windows, mac会有区别


#--------------

 

 

 

方式二、insert into 表名 values(xxx),(xxx),(xxx);

可以用java生成该语句(主要是里面的数据)

 

运行方式1、在自己电脑上的mysql客户端上直接运行

运行方式2、在服务器上使用 “source 文件名(含路径)”来执行sql脚本(脚本中是上面的sql语句)

c# mysql 的大量数据导入 项目需求, 本来Oracle用得好好的,突然要转成mysql,我也是醉了。 有个导入的问题,查了半天终于得到解决。Oracle中有 OracleBulkCopy,SQL当然也有个SqlBulkCopy .这里有介绍就不说 http://www.cnblogs.com/armyfai/p/3903956.html 可是MySqlBulkCopy并没有这个,网上找了很久,说什么Mysq 阅读详情

相关推荐

模电专题-MOS管的放大电路分析

在实际应用中,我们经常会使用到功率MOS,这时通常不会将它当成一个开关使用,而是当成一个放大器来使用,那这就需要让其工作在放大状态。参考下图中的mos管的特性曲线,右图中的输出特性曲线中有一根红色的分界线,这个线就是区分mos管工作状态的分界线,在红线的左边,mos管工作在可变电阻区,也就是线性区;在红线的右边mos管工作在恒流区,也就是饱和区。当然,还有一个截止区。本文分析主要运用模电课本中的理论计算验证。

Anitawen的博客 2万+

导致kettle脚本异常的sql:FIELDS TERMINATED BY ';'

一背景: 接手一个系统,包含定时任务JOB工程,其中一个重要模块依赖于kettle脚本。但是偏偏这个模块报错了,导致只能手工屏蔽该脚本,人工在两个库之间执行sql导数据。还都是半夜之后跑任务,十分折磨人。决心修复这个bug。 二分析: TRUNCATE TABLE crm_custom_status_history; LOAD DATA LOCAL INFILE '/opt/data/et

bohu83的博客 7490

【电力电子控制】基于强化学习的单相逆变器并网电流控制

本文将尝试以 DQN(Deep Q-Network)为例,设计并训练一个面向单相逆变器的智能控制器,实现对并网电流的精准调节。

weixin_62596197的博客 463

LOAD DATA INFILE字符编码的问题

[quote]load data infile 'C:\Users\Denny\Desktop\TestPage\xx.csv' into table taobao_shop CHARACTER SET utf8 FIELDS TERMINATED BY ';...

邓胤的家当 1288

Surface Pro 4/5/6/7保姆级黑苹果安装:从Windows分区到OC引导配置全流程(含EFI文件替换避坑)

本文详细介绍了在Surface Pro 4/5/6/7上安装黑苹果的全流程,包括Windows分区、OC引导配置和EFI文件替换等关键步骤。通过实战经验分享,帮助用户避开常见陷阱,实现Windows与macOS双系统完美共存,特别适合对黑苹果安装感兴趣的Surface Pro用户。

weixin_30300225的博客 1382

Apache NiFi新手必看:从零开始的数据流设计入门教程(含实战案例)

本文为Apache NiFi新手提供从零开始的数据流设计入门指南。通过实战案例,详细讲解了如何利用这一强大的数据采集工具,以可视化拖拽方式构建自动化数据流,实现从文件监控、内容处理到数据入库的全流程,并涵盖核心概念、环境搭建及生产环境调优要点。

weixin_29066781的博客 149

mysql 如何快速写入大量数据

在开发过程中可能会遇到需要快速入库大量数据的场景。理论上来说通过批量写入应该能够快速的插入数据,但是实际过程中批量插入速度并不是很理想。接下来介绍一下优化常用的操作。文章主要内容参考介绍MySQL Jdbc驱动的rewriteBatchedStatements参数 - chenjianjx - 博客园。

abments的博客 4351

高通camera调试经验总结

修改AF对焦模式 adb shell setprop vendor.debug.camera.af.manual 2 //使能手动对焦 adb shell setprop vendor.debug.camera.af.manual 0 //使能自动对焦

weixin_43381364的博客 1万+

解决MySQL导入数据量大速度慢问题

如果innodb_flush_log_at_trx_commit设置为0,log buffer将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行。如果innodb_flush_log_at_trx_commit设置为1,每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去.当sync_binlog =0,像操作系统刷其他文件的机制一样,MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。

摩登都市天空---专栏 6629

【王道训练营 C/C++方向基础 60 题(31-40)】

王道训练营 C/C++方向基础 60 题(31-40)

qq_55805517的博客 3068

Android存储空间不足下,APP出现奔溃等情况

版权声明:本文为博主原创文章,未经博主允许不得转载。 1. 问题起因     实时录制视频,使用getExternalCacheDir()函数返回的路径作为文件缓存区 2. 问题产生     系统在空间不足的情况下第一清除getExternalCacheDir和getCache文件下的缓存,导致正在录制的视频出现Error。 3. 解决方案     第一

OverseasAndroid的博客 4161

mysql快速导入导出数据库_MySQL如何实现高效导入导出

MySQL在本身有提供高效的导入导出文件的服务,当然在这里指的并不是把结果转储成SQL脚本,在平时把查询的结果过导出成CSV文件的就是一种,在这里 简单的说一说如何在MySQL中正确的使查询结果导入导出成文件及用文件快速导入,首先MySQL查询结果的导出可以借助于各种客户端工具来快速时间,如Navicat等等,或者是自身的mysql二进制文件来把结果导出而其中在MySQL下最为高效的就是自身的SE...

weixin_36296864的博客 198

自动权重化图卷积网络(Auto-Weighted GCN)算法在反洗钱识别中的应用及代码实现

该算法通过自动学习节点之间的权重信息,能够更好地捕捉AML数据中的关系和结构,从而提高反洗钱识别的准确性和效果。传统的AML识别方法通常依赖于专家定义的规则和手动提取的特征,但这些方法在应对大规模和复杂的数据时存在一定的局限性。GCN通过在图上执行卷积操作来捕捉节点之间的关系和结构信息,从而实现对图数据的学习和表示。自动权重化图卷积网络是一种基于GCN的改进算法,能够自动学习节点之间的权重信息,从而更好地捕捉图中的关系。利用自动计算的权重值执行图卷积操作。根据节点之间的相似度,计算每个节点的权重。

syntax_api860的博客 378

Python3快速导入Excel数据至MySQL示例:高效数据迁移解决方案

Python3快速导入Excel数据至MySQL示例:高效数据迁移解决方案 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在当代数据管理和分析的背景下,能够高效地将Excel数据导入到MySQL数据库中是一项至关重要的技能。Python3快速导入Excel数据至MySQL示例 是一个开源项目,旨在通过提供一套简洁高效的Python脚本,帮助用户实现从Excel到MyS...

gitblog_06788的博客 390

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

快速导入mysql百万用户数据

快速实现构造百万级数据,300百万数据只需要15~20分钟即可完成

晴空的博客 1429

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Mysql百万量级数据高效导入Redis

前言随着系统的运行,数据量变得越来越大,单纯的将数据存储在mysql中,已然不能满足查询要求了,此时我们引入Redis作为查询的缓存层,将业务中的热数据保存到Redis,扩展传统关系型数...

独行侠梦的博客 422

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Excel表格数据导入MySQL数据库

公司业务需要把Excel表中的十多万条数据导入到数据库表中,这样比执行sql语句插入数据快多了 比如:想把如下图的(sanyi.xlsx)Excel表格导入MySQL表(tb_sanyi_client)中 1、将excel表格另存为csv文件,csv默认为逗号分隔 2、使用notepad++工具打开保存好的CSV文件,转换成utf-8格式 3、使用MySQL可视化界面navicat for mysql,找到对应的数据库表,然后右键—》导入向导 4、导入类型选择文本文件,点击下一步 5、找到上面保存

qq_41936224的博客 5万+

mysql怎么从本地导入数据_MYSQL快速导入本地数据

MYSQL提供了从本地文件快速导数据的命令,具体说明如下:LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE ''[REPLACE | IGNORE]INTO TABLE[CHARACTER SET ][{FIELDS | COLUMNS}[TERMINATED BY ''][[OPTIONALLY] ENCLOSED BY ''][ESCAP...

weixin_39658726的博客 1135

如何高效把百万数据从MySQL导入redis

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、启动redis二、通过pipe管道传输,将mysql中的数据转入redis1、创建表(示例):2、存储过程插入百万数据3、编写脚本4、执行脚本把MySQL数据导入redis5、测试 前言 使用管道pipe高效地把mysql同步数据到redis中去。下面试windows下的玩法 一、启动redis windows环境下用以下命令写一个启动redis服务的快捷程序 :redis-server.bat @echo off ti.

weixin_43401755的博客 3897

Mysql百万数据量级数据快速导入Redis

前言 随着系统的运行,数据量变得越来越大,单纯的将数据存储在mysql中,已然不能满足查询要求了,此时我们引入Redis作为查询的缓存层,将业务中的热数据保存到Redis,扩展传统关系型数据库的服务能力,用户通过应用直接从Redis中快速获取常用数据,或者在交互式应用中使用Redis保存活跃用户的会话,都可以极大地降低后端关系型数据库的负载,提升用户体验。 传统命令的缺点 使用传统的redis ...

独行侠梦的博客 2654

MySQL数据快速导出导入

线上数据是共享表空间,正好因为服务器特性导致不能扩容,索性迁移的时候就把共享表空间改为单独表空间,方便后期拓展。线上数据1.6T,导出的SQL文件约745G。第一次使用官方工具mysqldump导出,导出时间消费5.5小时,再次导入的时候就蛋痛了,因为是单线程的方式,导入时间远远大于预期时间,可能要达到四五天的样子,接受不了,耗时周期长,中间出问题不好续导。 一、线上数据导出 1、下载安装my...

格子的博客 1万+

MySQL 导入数据load data infile用法

1、load data infield功能: MySQL的一个高效导入数据的方法,它的速度非常快。是MySQL里一款强大的数据导入工具。 2、语法: load data  [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminat

iCoding91 1万+

如何通过Navicat轻松导入百万条数据到mysql

如何通过Navicat轻松导入百万条数据到mysql 研究了一天的导入数据终于有了结果。 我这个sql文件在1.5G 左右,700万条数据。 起初用的mysql命令 : mysql -uroot -p123456 test < aaa.sql , 3个小时了才几千条数据 这篇文章希望能帮助大家 1、我们一张表一张表的处理 2、选择一张表,右键选择导出数据 3、选择 文本文档 ,下一步 4、将旧数据库的结构全部导出来,导入到新的数据库。 5、导入刚才导出的txt文件到每一张表

Jokenzhang 6635

使用MYSQL中的load data功能快速导入大量数据

1.先熟悉一下load data语句的写法 基本语法: load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTIONALLY] enclosed by ''] [escaped by'\' ]] [l...

qq_39354563的博客 2362

mysql导入数据load data infile用法(将txt文件中的数据导入表中)

我们常常导入数据!mysql有一个高效导入方法,那就是load data infile 下面来看案例说明   基本语法: load data  [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTI

大灰狼的专栏 3万+

mysql source 导入数据太慢_Mysql百万数据量级数据快速导入Redis

前言随着系统的运行,数据量变得越来越大,单纯的将数据存储在mysql中,已然不能满足查询要求了,此时我们引入Redis作为查询的缓存层,将业务中的热数据保存到Redis,扩展传统关系型数据库的服务能力,用户通过应用直接从Redis中快速获取常用数据,或者在交互式应用中使用Redis保存活跃用户的会话,都可以极大地降低后端关系型数据库的负载,提升用户体验。传统命令的缺点使用传统的redis clie...

weixin_39981185的博客 421
下一篇: mysql初学者题目及答案
dm_robin
博客等级 码龄10年 4粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值