Linux：shell脚本自动将.csv文件中的数据插入到MySQL数据库

最新推荐文章于 2023-08-26 09:25:29 发布
原创 最新推荐文章于 2023-08-26 09:25:29 发布 · 5.5k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #shell #csv文件 #自动存到MySQL

具体场景

Ubuntu16.04系统，接上篇文章，将压缩文件解压后，便将解压文件csv存储到MySQL数据库中

需要操作的文件在/home/myftp/upload/backupcopy中，文件内容

先看下具体的文件内容

以2019-01-13.tar.gz压缩文件为例，由上篇博客脚本解压后为2019-01-13文件夹，他的下一级文件夹中有两个文件63398545、82916887，之后才是这篇博客中要进行操作的csv文件，如图

使用Windows打开一个csv 文件，内容为

同时在每一个csv文件同级目录下都有一个设备清单meta.csv 文件，如下

所以将解压后的文件存储到MySQL数据库中需要建立两个不同的数据库，一个是wisdomdata，存储数据的，一个是wisdommeta存储设备的，同时在创建表时，每个字段都需要与对应的csv中的列名

最低0.47元/天 解锁文章
shell 导入csv到mysql
lxf0613050210的博客
07-05 5348
方法一：整个文件导入 #/bin/bash export_sql="LOAD DATA INFILE '$1' INTO TABLE $3 CHARACTER SET utf8 FIELDS TERMINATED BY ',' ENCLOSED BY '\"' " mysql -h127.0.0.1
shell定时脚本，从0开始，csv格式数据定时导入PostgreSql数据库shell脚本例子
weixin_39434182的博客
10-20 1642
前言： 如题所示，本文是从0开始，面向新手的。 有一定基础的同学，可以自行跳到自己有需要的部分，进行选择观看。 本文章涉及的所有命令和脚本，都经过笔者亲测可用。 如有问题或笔误，欢迎沟通和指正。 一、shell脚本的相关知识和第一个shell脚本例子编写; 对于没接触过shell脚本的朋友，我们先来写一个shell脚本的例子; 1.首先建立一个shell脚本; 在linux上vim demoShell.sh #/bin/bash # shell语法中#是注解，上面的#/bin/bash是脚本启动项，一般sh
Shell脚本批量添加CSV数据到MySQL
07-23
使用一般的mysql命令或者是sql脚本都可以插入数据到mysql数据表中，我这里介绍如何是Shell批量的从CSV文件中添加数据到mysql数据库中，方便数据迁徙，测试数据的添加之类的工作。
Linux 用 shell 脚本 批量 导入 csv 文件 到 mysql 数据库
deling0052的博客
04-20 837
前提：　每个csv文件第一行为字段名 　　　　创建的数据库字段名同csv 文件的字段名 1. 批量导入 多个 csv 文件 for file in ./*.csv;do mv $file tablename.csv;mysqlimport --local --fields-terminated-by="," -uusename -ppassword databasename tab...
Linux 用 shell 脚本 批量 导入 csv 文件 到 mysql 数据库 单个sql文件导入导出
加载中...
08-17 5117
导入一个 csv 文件 导入多个 csv 文件
shell脚本连接、读写、操作mysql数据库实例
09-10
在shell脚本中操作MySQL数据库是一项常见的任务，尤其是在自动化运维和数据处理场景中。本文将详细介绍如何使用shell脚本连接MySQL数据库，并进行读写操作。 首先，连接MySQL数据库通常使用`mysql`命令行工具。在...
Shell脚本实现从CSV文件批量导入数据至MySQL数据库
今天，我们将深入探讨如何使用Shell脚本批量将CSV文件中的数据添加到MySQL数据库中，涵盖了从准备工作到脚本实施的全过程。 首先，我们需要了解几个关键概念和工具： 1. **CSV文件**：CSV（Comma-Separated Values...
shell 将csv内容写入mysql
weixin_34128411的博客
10-11 655
shell 将csv内容写入mysql： 注：需先建好table及字段 mysql -u root -p'xxxx' --local-infile=1 ming -e "LOAD DATA LOCAL INFILE '/log/aa.csv' INTO TABLE aa FIELDS TERMINATED BY ','" 转载于:https://blog.51cto.com/yangzhiming...
linux sh mysql csv_linux 下如何使用shell 把处理好的csv文件导入到数据库下
weixin_39602280的博客
01-18 503
展开全部linux 下，可以使用cli程序把csv文件导入到数据库。具体代码如下：$ORACLE_HOME/bin/sqlplus-Susername/password@instanceName>/dev/null2>&1<#对sqlplus作一些设置，使之只输出我们需要的文本setechooffsetpagesize0setverifyoffs...
shell脚本读取csv_shell脚本连接、读写、操作mysql数据库实例
weixin_39984578的博客
12-20 628
本文介绍了如何在shell中读写mysql数据库。主要介绍了如何在shell 中连接mysql数据库，如何在shell中创建数据库，创建表，插入csv文件，读取mysql数据库，导出mysql数据库为xml或html文件， 并分析了核心语句。本文介绍的方法适用于PostgreSQL ，相对mysql而言，shell 中读写PostgreSQL会更简单些。1. 连接mysql 数据库shell中连接...
mysql实现查询结果导出csv文件及导入csv文件到数据库操作
09-09
主要介绍了mysql实现查询结果导出csv文件及导入csv文件到数据库操作,结合实例形式分析了mysql相关数据库导出、导入语句使用方法及操作注意事项,需要的朋友可以参考下
Excel文件自动解析上传SQL数据库
07-26
非常好的C# EXCEl自动解析上传到SQLSERVER数据库的代码，使用新的技术，数据库能够自适应EXCEL格式，效率极高
shell脚本_获取服务器数据并插入到数据库
不怀才的有志青年
05-17 2969
今天写一个比较实用的脚本，实现的功能是获取服务器的各项数据并写入到数据库中，我们获取的数据有：服务器ip， 服务器的处理器型号，服务器存储容量，服务器运存大小，服务器当前负载。 IP=`ifconfig|grep 'Bcast'|awk '{print $2}'|sed 's/addr://g'` #ip地址 CPU_INFO=`cat /proc/cpuinfo|grep "model na...
使用bash将csv文件数据读写到MySQL数据库的脚本之一
yumushui的专栏
08-27 3511
 情景： 有一个包含多个系的学生详细信息的csv文件，需要将文件的内容插入到一个数据表中，保证每一个系生成一个单独的排名列表。 学习信息表 studentdata.csv 文件的数据如下： 1,Navin M,98,CS 2,Kavya N,70,CS 3,Nawaz O,80,CS 4,Hari S,80,EC 5,Alex M,50,EC 6,Neenu J,70,EC 7
shell脚本将csv文件导入oracle，求路过大神给下源码，感谢。
jiabao_wu的博客
07-05 1914
shell脚本将csv文件导入oracle，求路过大神给下源码，感谢。
excel每天自动上传mysql_上传EXCEL表格至SQL数据库(自动建表)
weixin_34611277的博客
02-23 714
Public Sub AutoTable()Dim conExcel As New Connection, conSQL As New Connection, rs As New Recordset, fieldDef As String, fieldStr As String, rsValue As String, fileName As String, tabName As Stringfil...
如何将 JSON, Text, XML, CSV 数据文件导入 MySQL
纸上得来终觉浅
05-05 1105
摘要：将外部数据导入(import)数据库是在数据库应用中一个很常见的需求。其实这就是在数据的管理和操作中的ETL (Extract, transform, load)的L (Load)部分，也就是说，将特定结构(structure)或者格式(format)的数据导入某个目的地(比如数据库，这里我们讨论MySQL)。
【shell实战之】呈现数据_实战演练_读CSV文件_出sql文件
m0_61126667的博客
08-26 467
【代码】【shell实战之】呈现数据_实战演练_读CSV文件_出sql文件。
(八）PowerShell 查询MySql数据导入CSV文件
charles542307299的博客
08-06 484
生成csv文件及内容。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值