使用sed将结构化数据拼接成sql

最新推荐文章于 2025-09-24 14:10:41 发布

原创最新推荐文章于 2025-09-24 14:10:41 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#sql

工作心得专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何利用sed命令对文本文件中的数据进行处理，并将其转换为SQL插入语句。具体步骤包括替换字符串、添加必要的SQL语法元素等。

原始数据例子

山东  诸往  ZWA
四川  竹园坝 ZYB
河南  驻马店 ZMD

目标sql

INSERT INTO public.t_station_code(id, province_name, station_name, station_code) VALUES(nextval('t_station_code_seq'::regclass), '', '', '');

最后的三个单引号分别用上面的三个字段替换。

将有空格的地方替换成`', '`

sed "s/\s\+/', '/g" test_station_code.txt

拼接最后的`');`部分

sed "s/$/');/g" new1.txt

拼接前面的insert部分

sed "s/^/INSERT INTO public.t_station_code(id, province_name, station_name, station_code) VALUES(nextval('t_station_code_seq'::regclass), '/g" test_station_code.txt

如果想直接在原始文件中进行操作,使用sed -i即可

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

逸笔草草

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

SQL语句-入门到精通

gqren003

07-31

2221

SQL，Structured Query Language，中文结构化查询语言，是一种对关系数据库数据定义和操作语言。sql_mode是对SQL语法控制和效验的一套规则having用途having子句常用在group by子句过滤后，再进行判断筛选。having子句实践#1.统计中国每个省的城市个数，并把超过10个城市个数的输出#使用聚合函数,GROUP_CONCAT(NAME)#生产经验：having子句不走索引，效率低，尽量减少使用，除非结果集很少，如果结果集大，且非要用，可以从库做。

数据开发面试问题记录

weixin_44999258的博客

01-18

5193

因作者近期正在投递数据开发岗位，所以会在此记录一些面试过程中的问题，持续更新，直到入职新公司为止

参与评论您还未登录，请先登录后发表或查看评论

sed 过滤sql文件

weixin_30275415的博客

04-11

188

有时候会不需要那些以'/*'与'--' 开头的信息与注释，grep、sed、awk都可以过滤，比如用sed：sed '/\/\*/d;/--/d' table_strct.sql 转载于:https://www.cnblogs.com/minglog/archive/2011/04/11/2012174.html...

mysql sed_连接sed命令

weixin_42373997的博客

01-27

1903

sed 单行脚本快速参考sed (stream editor)功能说明：利用script来处理文本文件。语法：sed [-hnV][-e][-f][文本文件]补充说明：sed可依照script的指令，来处理、编辑文本文件。参数：-e件中,也可替换(substuite)它们其中的字串、或转换(tranfer)其中的字母等等。例如将...文章zchd2013-11-18625浏览量ECS 7天实践训练...

linux中sed带入参数,Linux sed 15个参数

weixin_35161750的博客

05-12

1361

一、15个参数1、r 从文件读入[root@watchout2 ~]# cat file12345[root@watchout2 ~]# cat newfileabcde[root@watchout2 ~]# sed '/a/r file' newfile (读入文件file,并显示在newfile文件中匹配行a之后)a12345bcde[root@watchout2 ~]# touch /fil...

两个sed小技巧

imxiangzi的专栏

12-24

725

在写shell时使用sed处理一些输出，遇到两个问题，在网上找到了相应的解决办法，在此处备份一下。 [ sed处理空字符 ] 空字符，它的ASCII码值为0。在sed中如何标识空字符呢？看下面的例子： find . -print0 | sed -e 's/\x0/\n/g' 在上面的例子中，find命令把当前目录下的文件名输出出来，以空字符分隔。输出被管道送给Sed进行处理。

sed随笔

george_0419的博客

04-28

194

sed [-hnV] [-e<script>][-f<script文件>]　　　　[文本文件] 参数说明：　　-e<script>或--expression=<script> 　　以选项中指定的script来处理输入的文本文件。　　-f<script文件>或--file=<script文件> 　　以选项中指定的script文件来处理输入的文本文件。　　-h或--help 　　　　　　　　　　　　显示帮助。　　-n或-...

非结构化日志破解术：awk与sed在嵌入式场景下的高阶实战（99%人不知道的技巧）

在嵌入式系统中，日志往往以非结构化文本形式输出，缺乏统一的字段分隔与时间戳规范，给故障排查带来巨大挑战。这类日志通常由内核、驱动或裸机程序直接打印，受限于资源无法引入ELK等重型分析工具。更严峻的是，...

9、数据处理与分析：从数据格式到机器学习模型构建

最新发布

u0v1w2x3的博客

09-24

本文深入探讨了从数据处理到机器学习模型构建的完整流程。内容涵盖行式与列式存储格式的对比及转换方法，使用AWS Glue和Athena进行数据处理与查询分析，基于VACUUM原则的数据质量评估与清洗，利用Jupyter Notebook和Sagemaker进行数据探索与采样，并介绍了PyTorch张量基础及其在机器学习模型中的应用。通过端到端的实践流程，展示了如何高效地处理大规模数据并构建准确的机器学习模型。

数据处理与项目管理：CSV合并、格式转换及Make工具使用

- **水平拼接**：如果多个 CSV 文件具有相同的列，可以将它们水平拼接。以下是具体操作步骤： 1. 假设有一个 `tips.csv` 文件，我们使用 `csvcut` 命令提取不同列的数据，并使用 `tee` 命令保存中间结果。 ```bash ...

Linux用sed生成sql时处理\'

qq_44776721的博客

04-16

299

由于业务处理数据的需要，首先生成了一个只有id列的txt，大概长这样： 1233456 1234568 1235469 .... 然后要用这列ID生成sql，生成的结果长这样： select id,amount from base.detail where id='1233456'; select id,amount from base.detail where id='1234568'; se...

通过pl/sql来格式化sql

congbao6525的博客

03-03

175

在之前的一篇博文中分享了通过java来格式化sql,http://blog.itpub.net/23718752/viewspace-1444910/ 今天突然想试试通过sql来格式化一把pl/sql试试，想起来容易，做起来难...

linux sed命令详解,1.10-linux三剑客之sed命令详解及用法

weixin_36021459的博客

04-28

357

内容:1.sed命令介绍2.语法格式,常用功能查询增加替换批量修改文件名第1章sed是什么字符流编辑器 Stream Editor第2章sed功能与版本处理出文本文件,日志,配置文件等增加,删除,修改,查询sed --versionsed -i 修改文件内容第3章语法格式3.1语法格式sed [选项] [sed指令] [输入文件]sed -i.bak 's#oldboy#oldgri...

sed 的使用

lsw250354的博客

09-24

571

主要功能，对文本进行替换，删除，新增和选取等工作；以下命令并不会改变源文件的内容，只是改变输出形式。

linux三剑客之sed命令详解及用法

统木木的博客

08-22

579

原文链接：https://blog.51cto.com/13517084/2069074 原文标题：linux三剑客之sed命令详解及用法目录内容: 第1章sed是什么第2章sed功能与版本第3章语法格式 3.1语法格式第4章常用功能 4.1查询: 4.1.1#单行-行号 4.1.2多行连续 4.2增加 4.2.1多行增加: \n换...

在sed使用变量的一个应用实例

lepton126的专栏

07-08

659

背景说明应用场景：将一个文件的指定行抽取出来，和另一个文件的指定行组成一个新文件，解决问题的关键是使用sed，将指定的行数设为变量进行抽取具体代码 #!/bin/sh numnode=`cat nodeip.txt|wc -l` numpcapfile=`cat listpcapfile.txt|wc -l` #echo "The number of datanode is $n

sed命令常用例子

DaxiaLeeSuper的博客

04-19

928

将文件file.txt中的所有"old_text"替换成"new_text"：sed -i ‘s/old_text/new_text/g’ file.txt删除文件file.txt中的第5行：sed -i ‘5d’ file.txt在文件file.txt的第2行添加一行"new_line"：sed -i ‘2i\new_line’ file.txt删除文件file.txt中第3行的前5个字符：

【shell】【字符串操作】

盖世英雄

02-04

533

常用命令 sed命令 sed可以对字符串进行删除、拼接等操作 cut命令对单个字符截取，若多个字符，就需要awk cut -f 1 -d "/" 截取 ${varible:n1:n2}:截取变量varible从n1开始的n2个字符，组成一个子字符串。 $ EXCLAIM=cowabunga $ echo ${EXCLAIM:0:3} 长度 ${#string} $string的长度比较 [["a.txt"==a*]]...

AWK用法全解与sed去掉sql最后一个字段哪一行的逗号

m0_46168848的博客

09-30

1560

AWK用法全解与Sed去掉sql最后一个字段哪一行的逗号

删除txt文件2-5列数据

06-17

<think>我们有一个文本文件，每行有若干列（字段），列之间由分隔符（如空格、制表符等）分隔。我们的目标是删除每行的第2列到第5列（包括第2列和第5列），并保留其他列。注意：列号通常从1开始计数。步骤：1.读取文件内容。2.对每一行，根据分隔符将行拆分成列。3.删除第2列到第5列（即索引为1到4，因为列表索引从0开始）。4.将剩余的列用分隔符重新连接。5.将处理后的行写入新的文件或覆盖原文件。这里的关键是确定列之间的分隔符。常见的分隔符有空格、制表符等。如果文件是固定宽度的列，则需要按位置截取，但问题中未提及固定宽度，所以假设是分隔符分隔。由于问题没有指定编程语言，我将提供几种常见语言的实现方法：1.使用Python2.使用awk（在命令行中）3.使用sed（但sed处理列不太方便，这里用awk更合适）另外，注意列索引的起始。例如，删除第2到第5列，即保留第1列和第6列及之后的所有列。下面分别给出示例：一、Python实现假设输入文件名为input.txt，输出文件名为output.txt，分隔符为制表符（如果是空格或其他，可以调整）。如果列之间是空格，但可能有多个空格（如固定空格数），那么可能需要先分割再重新拼接。示例代码（使用制表符分隔）：```pythonwithopen('input.txt','r')asinfile,open('output.txt','w')asoutfile:forlineininfile:#移除行尾换行符line=line.rstrip('\n')#分割列，假设是制表符分隔columns=line.split('\t')#如果列数不足5列，则删除可能存在的列（注意：如果列数少于2，则不需要删除，但至少要有2列才删除2-5列）#删除第2到第5列（索引1到4）iflen(columns)>=2:#保留第1列（索引0）和第6列及以后（索引5:）new_columns=columns[0:1]+columns[5:]else:new_columns=columns#重新用制表符连接new_line='\t'.join(new_columns)outfile.write(new_line+'\n')```如果分隔符是空格，但每列之间的空格数量不一致（比如有多个空格），那么使用split()（无参数）会按任意空白分割，并忽略多余空格。但注意，这样在重新拼接时，我们通常用空格作为分隔符，那么就会变成单空格分隔。如果希望保持原有空格数，则不能简单用split，可能需要正则表达式，但这样复杂一些。另一种情况是固定宽度列，则需要按字符位置截取。这里假设是任意空白字符分割，且重新输出时用单个空格分隔：```pythonwithopen('input.txt','r')asinfile,open('output.txt','w')asoutfile:forlineininfile:line=line.rstrip('\n')#分割所有空白（包括多个空格或制表符），返回列表columns=line.split()iflen(columns)>=2:new_columns=columns[0:1]+columns[5:]else:new_columns=columnsnew_line=''.join(new_columns)outfile.write(new_line+'\n')```二、使用awk（在Linux命令行或Shell脚本中）awk默认按空格分割（一个或多个空格或制表符），列从1开始。删除第2到第5列：即设置第2列到第5列为空，然后打印剩下的列。命令：```bashawk'{#将第2列到第5列置空for(i=2;i<=5;i++)$i="";#重新构建行（awk会自动用空格连接，但原来可能有多个空格，这样输出会变成单空格分隔）#我们可以使用OFS（输出字段分隔符）来指定分隔符，例如制表符OFS="\t";#设置输出分隔符为制表符#重新计算$0（整行），用OFS连接$1=$1;#这样会重新格式化行，用OFS重新连接字段print;}'input.txt>output.txt```注意：上面的循环将第2到第5列设置为空字符串，然后通过重新赋值$1=$1来触发重新构建行（这样空字段会被忽略，因为awk默认会跳过空字段？）。但是，这样会导致第2到第5列被删除，然后剩余字段用OFS连接。另一种更直接的方法是直接选择要保留的列：```bashawk'{#保留第1列和第6列到最后一列#注意：如果列数不足5列，则第6列及以后可能不存在，但awk会处理为空#设置输出分隔符为制表符OFS="\t";#重新构建行：$1,$6,$7,...直到最后一个字段#这里使用循环拼接从第6列开始的列，但更简单的方法是直接重新赋值#我们可以直接打印第1列和从第6列开始的列#但是注意：这样打印不会改变$0，所以我们可以先构建一个新行，然后打印#方法一：使用循环（如果列数多，循环可能慢）#方法二：直接使用$1和substr($0,...)？但这样复杂，因为列的位置不固定#方法三：使用cut命令可能更简单，但cut是按固定分隔符和列位置，这里我们用awk#简单方法：重新组合字段#我们可以把需要的字段重新赋值给$0，然后打印#例如：$0=$1;for(i=6;i<=NF;i++)$0=$0OFS$i;#但是这样会覆盖整行，然后打印$0#更简单的方法是直接打印这些字段#使用printf控制printf"%s",$1;for(i=6;i<=NF;i++){printf"%s%s",OFS,$i;}printf"\n";}'input.txt>output.txt```但是，如果希望保持原文件的分隔符（比如制表符），并且原文件每列之间是制表符，那么我们可以设置输入分隔符FS为制表符，输出分隔符OFS也为制表符。三、使用cut命令（如果分隔符是单个字符，比如制表符）cut命令可以按位置剪切列。但是，cut不支持多个分隔符（比如多个空格），它要求分隔符是单个字符。删除第2到第5列，即保留第1列和第6列及以后。注意：cut的列号从1开始。命令：```bash#假设分隔符是制表符（-d$'\t'），保留第1列（-f1）和第6列及以后（-f6-）cut-d$'\t'-f1,6-input.txt>output.txt#如果是空格分隔（但注意：cut对空格分隔支持不好，因为空格可能有多个，而cut只认单个分隔符）#所以如果文件是多个空格分隔，则不能直接用cut，需要先用tr命令将多个空格压缩成单个空格或制表符```因此，根据文件的分隔符情况选择合适的工具。总结：1.如果文件是制表符分隔，使用Python（制表符分割）或awk或cut都很方便。2.如果文件是多个空格分隔，建议使用Python或awk（按任意空白分割）来处理。请根据实际情况选择方法。注意：如果文件很大，建议使用命令行工具（如awk）以提高效率。相关问题：1.如果我想删除第3列和第7列（不连续的列），该如何操作？2.如果我的文件是CSV（逗号分隔）格式，该如何删除指定的列？3.在Python中，如果我想保持原文件中的空格分隔符数量不变（即不改变列间的空格数），该如何处理？以上问题供进一步学习。</think>### 如何在 TXT 文件中删除第 2 到第 5 列的数据要删除 TXT 文件中第 2 到第 5 列的数据，可以使用以下方法（根据文件格式选择合适方案）： #### 方法 1：使用 Python（推荐） ```python def remove_columns(input_file, output_file): with open(input_file, 'r') as infile, open(output_file, 'w') as outfile: for line in infile: # 按空格/制表符分割列（自动处理连续空格） columns = line.split() if len(columns) >= 6: # 确保有足够列 # 保留第1列 + 第6列及之后 new_line = ' '.join([columns[0]] + columns[5:]) else: new_line = ' '.join(columns) outfile.write(new_line + '\n') # 使用示例 remove_columns('input.txt', 'output.txt') ``` #### 方法 2：使用 AWK（命令行工具） ```bash awk '{ # 保留第1列和第6列及之后 $2=$3=$4=$5=""; # 重建行（删除多余空格） gsub(/ +/, " "); print $0 }' input.txt > output.txt ``` #### 方法 3：使用 Pandas（适合表格数据） ```python import pandas as pd # 读取空格分隔的文件 df = pd.read_csv('input.txt', sep=r'\s+', header=None) # 删除第2-5列（索引1-4） df.drop(df.columns[1:5], axis=1, inplace=True) # 保存到新文件 df.to_csv('output.txt', sep=' ', index=False, header=False) ``` ### 关键说明 1. **列索引规则**： - 第1列：索引 0 - 第2列：索引 1 - 第5列：索引 4 - 保留 `[索引0] + [索引5:]` 2. **分隔符处理**： - 上述代码自动处理空格/制表符分隔 - 若为固定宽度列，需改用 `line[0:start] + line[end:]` 切片 3. **特殊格式**： ```python # 处理逗号分隔文件 columns = line.strip().split(',') # 处理自定义分隔符 columns = line.split('|') # 管道符分隔示例 ``` ### 操作示例 **原始文件 (`input.txt`)**： ``` A B C D E F G 1 2 3 4 5 6 7 ``` **处理后 (`output.txt`)**： ``` A F G 1 6 7 ``` > **注意**：实际执行前建议备份原文件，列数不足时程序会自动保留所有列[^1]。 --- ### 相关问题 1. 如何删除 TXT 文件中特定行范围（如第3-10行）的数据？ 2. 如果列之间使用逗号分隔（类似CSV），应如何修改代码？ 3. 如何保留原文件的空格/制表符格式而不自动压缩空格？ 4. 在 Python 中如何直接修改原文件（而非创建新文件）？ [^1]: 引用自 Python 数据处理基础：变量操作和字符串处理技巧。 [^2]: 参考并发编程模型中对共享数据结构的处理思路。 [^3]: 结构化查询语言(SQL)的基本操作思想可类比数据处理。