第四步 使用shell操作数据库,导入分析并将结果导出成txt文件

ORACLE 导出TXT格式文件小结 后记: 用了100万的数据做了测试,发现spool的效率还是堪忧,要是数据量小的话用spool没什么问题,也比较简单,但是数据量稍微大一些就不行了。用spool导出100万条数据用时在2分钟左右,用UTL_FILE开游标来写得话只要40多秒。快了一倍。(生产用了5亿数据验证。速度不止一倍,所以,如果不是写日志,还是用游标来写吧) 以上导出来的是分隔符文件,如果想要定长文件(就是表中的字段长度是... 阅读详情

在上一步中我们成功将远程服务器上备份的数据保存到了本地接下来的这一步中我们将备份的数据导入到本地的数据库,进行数据分析并导出结果。说干就干

使用存储过程写数据分析函数然后使用存储过程导出,这个使用select语句就可以做到 不多说了。

这里我们写了一个存储过程 将上会保存的表drop掉,名字叫 auto_drop_tables,这个存储过程没有参数 那么我们可以这样调用 

mysql -uroot -p123456 -h192.168.1.1(这里是本机ip非远程服务器ip) -e CALL auto_drop_tables()

我们又有一个有参数的存储过程 create_txt(filename) 该存储过程分析表,然后产生.txt文件,该存储过程接受一个参数我们可以这样调用

mysql -uroot -p123456 -h192.168.1.1 -e CALL create_txt(xxx.xxx)

于是我们有了一个这样的脚本

 #!/bin/sh
 t1=$(date +%Y%m%d)
 sql_user=root
 sql_passwd=123456
 sql_host=192.168.1.1
 sql_db=mysql
 sql_clear="CALL auto_drop_tables()"
 sql_log="CALL create_txt($t1)"
 filename=`ls ../sql -l | tail -n 1 | awk '{print $9}'`
 mysql -u$sql_user -p$sql_passwd -h$sql_host $sql_db -e "$sql_clear"
 #import data
 mysql -u$sql_user -p$sql_passwd -h$sql_host $sql_db < /home/$filename
 mysql -u$sql_user -p$sql_passwd -h$sql_host $sql_db -e "$sql_log"
其中
filename=`ls ../sql -l | tail -n 1 | awk '{print $9}'`
是得到最新的文件 (包括最新创建和最新修改)
哈哈,第四步结束 ,这一步我们将拷贝过来的数据分析后导出成txt文件,下一步我们将txt文件放到windows里面 ,然后导入到excel表里边去 



Shell脚本编程实践——第4关:编写一个脚本,计算txt文件中每一行单词的个数并将结果写入另一个文件 本关任务:使用Shell编程读取给定目录下的myText.txt文件,按行计算每行字符的个数并将计算结果输出到/home目录下的result.txt文件中,该文件需要您自行创建。或将文件中的内容代替键盘输入提交给指定的命令执行。vim命令可以用vim编辑器直接打开一个已经存在的文件进行编辑,若文件不存在则先创建一个缓存文件,随后用户可以在vim编辑器进行编辑。与创建文件的方法二类似,可以使用echo+重定向的方式向文件中写入内容。与创建文件的方法一类似,vim命令可以使用编辑器打开文件,用户输入。 阅读详情

相关推荐

oracle数据库导入导出TXT文件

oracle数据库导入导出TXT文件

qq_29383575的博客 237

shell创建文本,重命名文件,批量转换编码格式,重定向到markdown

1、要创建的文本内容: b.txt.bak cat /root/shellDir/program/sedTest/testFile/b.txt.bak Linux系统发送告警脚本【www.vipsrc.com】.sh MySQL数据库备份多循环【www.vipsrc.com】.sh nginx 访问访问日志按天切割【www.vipsrc.com】.sh 2、根据文本内容创建对应的文件: touchFile.sh.bak cat touchFile.sh.bak #!/bin/bash currPathF

Nightwish5的博客 1141

将hive数据库中的数据导入到MySQL中的方式

天气炎热,写篇文章降降温,防止中暑。 大数据的数据转置过程中,经常需要将hive数据库中的数据迁移到MySQL等关系型数据库中。而目前市场上成熟的方案已经比比皆是,如利用sqoop的方式、kettle等中间工具。 今天正好闲来无事,考虑在不利于以上2种方式的情况下,成功将hive数据库中的数据导入到了MySQL中。以下为实例。 首先附上一张思路图: 命题:在Hadoop的/file目录中,有一个...

QvQ 1万+

shell如何将变量数据定向保存到指定txt文件中去

创建一个用户的文件,每一个用户对应有名字,年龄,密码三项,通过键盘输入这三项指标然后保存到一个指定的文件中去。

文特 5357

shell脚本生成.txt数据文件

shell脚本生成.txt数据文件,shell脚本生成.txt数据文件

把mysql查询结果保存到文件的shell脚本

该脚本是先删除已经存在的文件,然后后台执行SQL语句将其执行结果以一定的格式写入文件 代码如下:#!/bin/bashif [ -f “/var/lib/mysql/hell.txt” ]; thenrm -f /var/lib/mysql/hell.txtecho “delete /var/lib/mysql/hell.txt” >> hell.txtfimysql -uroot -plab <<EOFuse home;select YongHuID,XueYuanID into outfile ‘./hell.txt’ fields terminated by ‘|’ lines ter

shell脚本——sql连接及其查询结果重定向到txt

记录第一次写linux系统上的shell脚本 一.shell实现的任务: 1.将内存使用情况与磁盘使用情况重定向到txt文件 2.将sql查询的昨日统计数据重定向到txt文件 URL=127.0.0.1 PORT=3306 USERNAME=”admin” PASSWORD=”admin” DBNAME=”bills” TABLENAME=”order” #昨天日期 DATE=`date+”%Y-%m-%d” –d “-24hour”` SQL=”select DATE_FORMAT{pay_ti

看表该写博客了 1193

wifi/BT芯片RTL8723DS驱动移植和测试之一wifi篇

本文主要介绍如何在stm32mp157中移植并测试芯片RTL8723DS的wifi功能。

汉尼拔勇闯天涯 8741

Shell实现mysql查询结果保存为txt和csv

shell 脚本实现一个查询 MySQL 数据库后将结果保存为 CSV 和 TXT 文件,可以使用mysql命令行工具执行 SQL 查询,并将结果导出到文件中。

promise524的博客 1225

手把手教你用高频注入法辨识永磁同步电机电感参数(附MATLAB仿真)

本文详细介绍了高频注入法在永磁同步电机电感参数辨识中的工程实践与MATLAB仿真指南。通过高频信号注入法,无需拆解电机即可在线精确测量Ld和Lq参数,适用于电动汽车驱动和工业伺服等高精度控制场景。文章包含信号设计、硬件实现、解调算法及完整MATLAB仿真模型构建,帮助工程师快速掌握这一关键技术。

orange的博客 292

DeepSeek高阶应用:DeepSeek+Coze构建智能文献综述与趋势分析自动化系统

本文详细介绍了如何利用DeepSeek与Coze构建智能文献综述与趋势分析自动化系统。通过DeepSeek的深度语义理解和结构化信息提取能力,结合Coze的可视化工作流编排,实现学术论文的自动解析、分类整理与知识入库。该系统能7x24小时自动追踪领域前沿,将研究人员从繁琐的文献处理中解放出来,专注于更高层次的思考与创新。

weixin_29050271的博客 179

将MySQL的输出保存到文件

在shell环境下保存查询结果: 方法1: mysql -uroot -proot -h localhost xxx库 -e " select * from xxx表 " >> out.txt   方法2: echo "select * from xxx表 " | /usr/local/mysql/bin/mysql -h 127.0.0.1  -uroot -proot xxx库

不辣红烧肉的博客 1282

ADB命令解锁Android手机屏幕的3种实用方法(附详细步骤)

本文详细介绍了在Android手机屏幕失灵或密码遗忘时,利用ADB命令解锁屏幕的三种实用方法。包括通过ADB模拟输入事件、移除锁屏认证文件(需Root权限)以及结合恢复模式抢救数据。文章提供了详细的操作步骤与风险提示,强调提前开启USB调试的重要性,是Android用户应对紧急锁屏情况的有效技术指南。

weixin_29229055的博客 919

从Oracle导出数据到TXT文件&从TXT文件导入数据到Oracle

如果是txt文件的数据导入oracle中,数据量大的话用pl/sql会卡死,那么就要用到sqlload命令。 前两天在做一个不算任务的任务,用shell脚本将数据库中的数据导出到文件,在万能的百度上找了一些资料,自己亲手实践了一番,脚本语言又有长进。从数据库导出数据到TXT文件,完全OK,那么从TXT文本导入到数据库又怎样操作呢?于是又上万能的度娘,又亲手实践了一上午,发现网上的不少例子很好,但...

li 2万+

永磁同步电机矢量控制(十一)——基于损耗模型的PMSM效率优化策略

本文深入探讨了永磁同步电机(PMSM)基于损耗模型的效率优化策略,详细分析了铜损和铁损的构成与建模方法,并提出了最小损耗控制策略的实现方案。通过与传统MTPA控制的对比,展示了在不同工况下的效率提升效果,同时讨论了工程实现中的关键问题与解决方案,为PMSM的高效运行提供了理论支持和实践指导。

7z8x2c4v6b9的博客 231

华南理工大学电子与信息学院23年预推免复试面试经验贴

华南理工大学电子与信息学院23年预推免复试面试经验贴

Scut_Ty的博客 3297

oracle数据库导入txt,oracle数据库导入TXT文件方法介绍

客户端连接数据库导入1. 安装有oracle客户端,配好监听。2. 以oracle数据库app用户的表user_svc_info为例CREATE TABLE USER_SVC_INFO(PHONE varchar2(20) NOT NULL,SVC_ID varchar2(32) NOT NULL,P_USERNAME varchar2(100) NULL,USER_STATUS number N...

weixin_28835789的博客 1493

模组 RG500Q入网问题分析

- [ ] 不同于公网,在5G专网环境中, 通常使用很多非标准的网络配置,如PLMN/APN等。因此,5G模组在专网环境下通常要做一些专门的配置才能正常入网,本文分析一例在专网环境, 5G终端无法入网问题的定位过程。 - [ ] 具体涉及到以下模组操作: 恢复出厂、SA only、锁BAND、配置MBN等

十年通信老兵的技术修炼之路——从3G到5G,从地面基站到卫星通信。 935

将shell将mysql数据生成txt_Linux服务器中将csv、txt文件导入、导出mysql数据库

导入csv文件LOAD DATA INFILE '/var/lib/mysql-files/jjdb_fkdb_all_dropdup_20w.csv'into table `jjdb_fkdb_all_dropdup_20w` character set utf8fields terminated by ',' optionally enclosed by '"' escaped by '"'...

weixin_39982269的博客 563

微信小程序 - request:fail errcode:10011 cronet_error_code:0 error_msg:network change, cancel all task请求报错

微信小程序请求接口,报request:fail errcode:10011是什么原因,uniapp微信小程序request:fail errcode:10011 cronet_error_code:0 error_msg:network change, cancel all task,微信小程序wx.request常规访问接口,有个别用户的接口请求频繁报错,UniApp 微信小程序uni.request请求接口报错:request:fail errcode:10011 的原因分析与解决方案,苹果ios,安卓

🏆 前端领域优质创作者 4567

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

shell mysql 输出到文件_【Mysql+shell】查询结果导出到文件,文件数据导入到数据库...

Shell: 执行Mysql查询,并将查询结果导出到文件直接使用Mysql执行查询mysql> use xxx_dbName;mysql> select * from log_06 where nat_ip=1234315965 limit 3;+--------------+------+-----------+----------+---------------------+---...

weixin_39711721的博客 473

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

shell脚本将mysql数据库中查询结果导出制作成.CSV格式文件;或.txt/.log文件

#第一种方法在命令行中直接执行下面代码(.log可替换为其他格式文件) mysql -hlocalhost -P3306 -uroot -p1234 -e"select * from demo.user;" >d:/mywork/shell/1.log 输出结果: #第二种方式是shell脚本导出.csv #!/bin/bash MYSQL="mysql" #show databases in mysql echo "database in mysql:" echo "======..

smile_ay的博客 4640

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

shell excel导入mysql_采用SHELL,通过SQL LOAD导入一定格式的txt文件至数据库中

1。准备工作,window中可直接通过sqlload直接导入文件,linux下,需要有sqlload的相关软件。2。 SQL脚本(MID_DFDZ.ctl)LOAD DATAINTO TABLE MID_T0_TRANStruncateFIELDS TERMINATED BY '|'(stldate,merno,termno,pan,transamt,refno,termssn,batno,tr...

weixin_35540389的博客 397

impala 导出查询结果到文件

想用impala-shell 命令行中将查询的结果导出到本地文件,想当然的以为impala 和 hive 一样可以用 insert overwrite local directory ‘/home/test.txt’ select ……. 这样的命令导出到本地,执行了一下,发现impala 不支持这个。然后查了一下,发现impala-shell 可以像mysql 一样的方式导出查询结果到文件。在命令

半路出家,立地为猿 1万+

Oracle通过SPOOL导出数据Excel、CSV、TXT格式

  SPOOL用的频率蛮高的一个命令工具,主要是配合SQLPLUS的set命令使用,常用的如下: set echo off :控制是否显示脚本文件中正在执行的SQL语句。 set timing off:关闭返回执行时间 set heading off:不显示列名 set feedback off:不返回本次SQL结果集数据行数 set linesize 200:每行显示字符的个数(1个汉字两个字符) set pagesize 24:每页显示的数据行数 set newpage 1:新页前1个空行 set t

成屿的专栏 1万+
上一篇: 第三步 使用scp远程拷贝,自动输入用户名和密码
下一篇: 面试题目整理 线程安全的单例模式
归来已是客
博客等级 码龄16年 9粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值