抽取数据shell

最新推荐文章于 2023-12-26 18:48:44 发布

原创最新推荐文章于 2023-12-26 18:48:44 发布 · 726 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#shell

Shell 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种使用Shell脚本进行数据处理的方法，包括从文件中提取特定字段、对数据进行排序及去重等步骤。通过几个简单的命令实现了复杂的数据处理流程。

1)awk '{print $5;}' $Phone_File | sort | uniq > temp.url.txt

2)cat temp.url.txt | while read urs

grep $urs $fileBegin >> temp.db.txt

done

3)cat temp.db.txt | sort -n -k ?? > temp.db2.txt

按id排序

4)awk '{}'

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

i土豆程序猿

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Shell技巧集合（提取文本内容、awk去掉双引号、UUID、获取随机数、获取文件大小、字符串拼接、MySQL时间戳、执行MySQL指令、删除某个文件之外文件）

邓邓子的博客

07-13

2722

如下，要提取文本中的版本号：提取方法：二、awk 去掉双引号承上，加入 gsub(/"/, “”, $2); 即可：三、UUID 带 “-” ：不带 “-” ：四、获取随机数可从以下中选一种：五、获取文件大小六、字符串拼接不需要使用任何运算符，将两个字符串并排放在一起就能实现拼接：七、MySQL 10位、13位时间戳 10 位时间戳： 13 位时间戳：八、执行MySQL指令或......

Shell--捞取数据实验

a1231231231313的博客

10-26

531

实验要求 1.取出 www.51xit.top/root/123.html 第一种方法 [root@localhost ~]# cat 123.txt | awk -F '//' '{print $2}' //查看这个文本，用awk分隔，将提取字段提取出来第二种方法 grep -o 只显示匹配的字符串 [root@localhost ~]# cat 123.txt | grep -o "www.*" // 提取 www 后面所有的内容 2.取出123.html 第一种方法 [ro

参与评论您还未登录，请先登录后发表或查看评论

linux数据抽取命令

03-21

小白学习笔记，Linux简单的数据抽取命令，如grep、egrep、fgrep等

实时同步抽数ETL---Shell脚本

痞子磊的博客

05-01

1217

#!/bin/bash export LNAG=zh_CN.UTF-8 # 补数逻辑，pg => hdfs # -- --schema <name> connect=$1 username=$2 password=$3 hdfs_path=$4 query_condition=$5 alias_time=$6 tablename=$7 queue=$8 hdfs_path_tmp=${hdfs_path}_tmp query_condition="${query_condition}

linux 在应用程序中使用shell命令获取数据

03-15

1058

在程序中使用命令行执行的结果比如使用top命令查看系统状态 root@ubuntu:~# top top - 05:26:18 up 6 days, 22:52, 1 user, load average: 0.14, 0.14, 0.37 Tasks: 429 total, 1 running, 327 sleeping, 2 stopped, 0 zombie %Cpu(s): 0.6 us, 1.0 sy, 0.0 ni, 98.4 id, 0.0 wa, 0.0

linux shell之提取分类数据

weixin_34353714的博客

11-14

341

使用Kettle增量抽取MongoDB数据实践

12-14

在IT行业中，数据抽取、转换和加载（ETL）是数据仓库和大数据处理的重要环节。在本实践案例中，我们将探讨如何使用Kettle工具来实现MongoDB数据的增量抽取，并将其加载到MSSQL数据库中。Kettle，又称Pentaho Data ...

用shell抽取，更新db2的数据

09-11

下面是一个简单的Shell脚本示例，用于从DB2数据库中抽取数据。 ```bash #!/bin/bash # SQL文定义 SQL="SELECT AAA, BBB, CCC FROM MYTBL1" # 执行SQL SDATA=`db2 "$SQL"` # 返回值判断 if [ $? -ne 0 ]; then # ...

基于C++和Shell的libnpce新闻文章正文抽取组件设计源码

09-26

本项目是一个专注于新闻文章正文内容抽取的软件开发组件，它将C++语言的高性能与Shell脚本的灵活性结合在一起，旨在实现自动化地从互联网上收集的新闻页面中提取出文章的主体内容。该项目对于需要处理大量新闻数据，...

基于Python和HTML/Shell的多语言关系抽取设计源码

最新发布

10-09

这个多语言关系抽取设计源码项目通过Python实现了跨语言文本数据的关系抽取功能，并提供了相应的用户交互界面和项目文档。利用HTML和Shell脚本，该项目不仅在技术实现上表现出色，在用户体验上也有着周到的考虑。...

调用datax抽取的shell脚本和对应JSON

fanlying的博客

10-31

3973

一、全量抽取 #!/bin/bash set -e #取出当前执行文件名,既表名 file_name=`basename $0 .sh` #json文件名 json_name=${file_name}.json #当前目录路径 dir_path=`dirname $0` cd ${dir_path} hive -e "truncate table bigdata_ods.${file_na...

linux下shell脚本实现数据的导出

11-27

第一次接触linux系统，之前写的数据导出不好使了。原因是程序放在root用户下，要runtime执行exp的话，root不认exp命令；找了好多资料，最后决定写个shell脚本；没接触过shell脚本，网上大部分例子都写的挺复杂的；贴个简单的，不带传参什么的；只是最简单的数据表的导出备份

Linux数据抽取shell脚本

aa245455945的博客

08-20

812

#!/usr/bin/bash datefile=$1 work_path=$2 start_time=`date +%Y%m%d%H%M%S` #work_path=/home/oracle/fk_data #数据库信息 DbCon=********** file_date=`date +%Y%m%d` filename=${work_path}/"$datefile"_${file_date}.txt sqlinfo="select * from $datefile;" echo "执行的sql:

用脚本模拟抽签

kuangfeng的博客

03-18

1886

用脚本模拟抽签

Shell脚本实现不放回抽签（摸球模型）

Louis的博客

06-26

1887

Shell脚本实现不放回抽签一次偶然的机会，博主进入大乐透投注站，观察到投注机具有随机选号功能，寻思着如果让我用shell实现该功能，应该要怎么写呢。思路基本思路就是产生随机数，将随机数与特定的值域联系起来，最后每取出一位数，值域中将该数剔除，保证抽取到值域内剩下的数的概率与实际相同。代码如下 #!/bin/bash big_redball_num=5 big_blueball_num=2...

shell编程：完成一个简单的不重复抽取且自动重新开始自动抽奖脚本

wowchx的博客

12-13

3339

实现一个类似于上课点名的抽奖脚本，抽过的人在本轮中不会重复出现，直到抽完为止，且抽完所有人后自动开始重新抽取。

两个简单的shell脚本题目

ssiyla的博客

08-04

1324

1、用shell显示当前日期，时间，用户名和当前工作目录 #!/bin/bash #写一个shell脚本来得到当前的日期，时间，用户名和当前工作目录 echo -n "当前日期为：" date | awk '{print $1,$2,$3,$4}' echo -n "时间为：" date | awk '{print $5}' echo -n "用户名为：" whoami echo -n "当前工...

shell脚本遍历循环抽取数据

Master_Yiran的博客

12-26

510

【代码】shell脚本遍历循环抽取数据。

工作中的shell数据提取与操作

sf_jiang的博客

06-29

3375

问题一：有台正常运行的服务器，共有48个网口，并且网口号处于没有经过调整的混乱状态，怎样快速的找出eth0~eth47对应的物理网口位置？ shell命令# for i in `seq 0 47`; do ethtool -p eth$i 2; done 说明：遍历i=0~47，对每个 eth$i ，执行 ethtool -p 命令，意思是点亮该网口2秒钟。问题二：查看linux系......

shell脚本抽取oracle数据

01-26

以下是一个示例的shell脚本，用于从Oracle数据库中提取数据： ```shell #!/bin/sh # 连接到Oracle数据库 sqlplus -S "/ as sysdba" <<EOF # 设置输出格式 set colsep ',' set heading off set pagesize 0 set feedback off # 执行SQL查询并将结果导出到文件 spool output.csv SELECT * FROM your_table; spool off # 退出SQLPlus quit EOF ``` 这个脚本将连接到Oracle数据库，并执行一个SQL查询来选择你指定的表中的所有数据。查询结果将被导出到一个名为output.csv的文件中。你可以将上述脚本保存为extract_data.sh，并在终端中运行以下命令来执行脚本： ```shell sh extract_data.sh ``` 执行完毕后，你将在当前目录下找到一个名为output.csv的文件，其中包含从Oracle数据库中提取的数据。