抽取数据shell

最新推荐文章于 2023-12-26 18:48:44 发布
最新推荐文章于 2023-12-26 18:48:44 发布
阅读量708 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Shell 文章标签： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/keeng2008/article/details/50668183
本文介绍了一种使用Shell脚本进行数据处理的方法，包括从文件中提取特定字段、对数据进行排序及去重等步骤。通过几个简单的命令实现了复杂的数据处理流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1)awk '{print $5;}' $Phone_File | sort | uniq > temp.url.txt
2)cat temp.url.txt | while read urs
do
grep $urs $fileBegin >> temp.db.txt
done
3)cat temp.db.txt | sort -n -k ?? > temp.db2.txt
按id排序
4)awk '{}'
Shell--捞取数据实验
a1231231231313的博客
10-26 506
实验要求 1.取出 www.51xit.top/root/123.html 第一种方法 [root@localhost ~]# cat 123.txt | awk -F '//' '{print $2}' //查看这个文本，用awk分隔，将提取字段提取出来 第二种方法 grep -o 只显示匹配的字符串 [root@localhost ~]# cat 123.txt | grep -o "www.*" // 提取 www 后面所有的内容 2.取出123.html 第一种方法 [ro
调用datax抽取的shell脚本和对应JSON
fanlying的博客
10-31 3908
一、全量抽取 #!/bin/bash set -e #取出当前执行文件名,既表名 file_name=`basename $0 .sh` #json文件名 json_name=${file_name}.json #当前目录路径 dir_path=`dirname $0` cd ${dir_path} hive -e "truncate table bigdata_ods.${file_na...
linux数据抽取命令
03-21
小白学习笔记，Linux简单的数据抽取命令，如grep、egrep、fgrep等
linux 在应用程序中 使用shell命令获取数据
03-15 1032
在程序中使用命令行执行的结果 比如使用top命令查看系统状态 root@ubuntu:~# top top - 05:26:18 up 6 days, 22:52, 1 user, load average: 0.14, 0.14, 0.37 Tasks: 429 total, 1 running, 327 sleeping, 2 stopped, 0 zombie %Cpu(s): 0.6 us, 1.0 sy, 0.0 ni, 98.4 id, 0.0 wa, 0.0
linux shell之提取分类数据
weixin_34353714的博客
11-14 329
前段时间，由于shell相关知识掌握比较少，同事给了一任务让我去做，于是第一时间让自己想到了运用oracle数据库，导来导去，人肉了一番，最后由于时间关系还是放弃了，让他自己做去了，没想到同事是早就做了，只不过是想人肉一下而已。 近来开始着手写相关shell的知识了，步入正题； 同事给的数据是这样的： 3010BBB[email]A...
Linux数据抽取shell脚本
aa245455945的博客
08-20 795
#!/usr/bin/bash datefile=$1 work_path=$2 start_time=`date +%Y%m%d%H%M%S` #work_path=/home/oracle/fk_data #数据库信息 DbCon=********** file_date=`date +%Y%m%d` filename=${work_path}/"$datefile"_${file_date}.txt sqlinfo="select * from $datefile;" echo "执行的sql:
使用Kettle增量抽取MongoDB数据实践
12-14
在IT行业中，数据抽取、转换和加载（ETL）是数据仓库和大数据处理的重要环节。在本实践案例中，我们将探讨如何使用Kettle工具来实现MongoDB数据的增量抽取，并将其加载到MSSQL数据库中。Kettle，又称Pentaho Data ...
用shell抽取，更新db2的数据
09-11
下面是一个简单的Shell脚本示例，用于从DB2数据库中抽取数据。 ```bash #!/bin/bash # SQL文定义 SQL="SELECT AAA, BBB, CCC FROM MYTBL1" # 执行SQL SDATA=`db2 "$SQL"` # 返回值判断 if [ $? -ne 0 ]; then # ...
基于C++和Shell的libnpce新闻文章正文抽取组件设计源码
09-26
本项目是一个专注于新闻文章正文内容抽取的软件开发组件，它将C++语言的高性能与Shell脚本的灵活性结合在一起，旨在实现自动化地从互联网上收集的新闻页面中提取出文章的主体内容。该项目对于需要处理大量新闻数据，...
基于Python和HTML/Shell的多语言关系抽取设计源码
最新发布
10-09
这个多语言关系抽取设计源码项目通过Python实现了跨语言文本数据的关系抽取功能，并提供了相应的用户交互界面和项目文档。利用HTML和Shell脚本，该项目不仅在技术实现上表现出色，在用户体验上也有着周到的考虑。...
linux下shell脚本实现数据的导出
11-27
第一次接触linux系统，之前写的数据导出不好使了。原因是程序放在root用户下，要runtime执行exp的话，root不认exp命令；找了好多资料，最后决定写个shell脚本；没接触过shell脚本，网上大部分例子都写的挺复杂的；贴个简单的，不带传参什么的；只是最简单的数据表的导出备份
实时同步抽数ETL---Shell脚本
痞子磊的博客
05-01 1179
#!/bin/bash export LNAG=zh_CN.UTF-8 # 补数逻辑，pg => hdfs # -- --schema <name> connect=$1 username=$2 password=$3 hdfs_path=$4 query_condition=$5 alias_time=$6 tablename=$7 queue=$8 hdfs_path_tmp=${hdfs_path}_tmp query_condition="${query_condition}
用脚本模拟抽签
kuangfeng的博客
03-18 1817
用脚本模拟抽签
Shell脚本实现不放回抽签（摸球模型）
Louis的博客
06-26 1835
Shell脚本实现不放回抽签 一次偶然的机会，博主进入大乐透投注站，观察到投注机具有随机选号功能，寻思着如果让我用shell实现该功能，应该要怎么写呢。 思路 基本思路就是产生随机数，将随机数与特定的值域联系起来，最后每取出一位数，值域中将该数剔除，保证抽取到值域内剩下的数的概率与实际相同。 代码如下 #!/bin/bash big_redball_num=5 big_blueball_num=2...
shell编程：完成一个简单的不重复抽取且自动重新开始自动抽奖脚本
wowchx的博客
12-13 3270
实现一个类似于上课点名的抽奖脚本，抽过的人在本轮中不会重复出现，直到抽完为止，且抽完所有人后自动开始重新抽取。
两个简单的shell脚本题目
ssiyla的博客
08-04 1304
1、用shell显示当前日期，时间，用户名和当前工作目录 #!/bin/bash #写一个shell脚本来得到当前的日期，时间，用户名和当前工作目录 echo -n "当前日期为：" date | awk '{print $1,$2,$3,$4}' echo -n "时间为：" date | awk '{print $5}' echo -n "用户名为：" whoami echo -n "当前工...
【linux/shell实战案例】awk、sed提取数据常用的各种小技巧
qq_35902025的博客
10-05 4444
cat file | awk '{print substr($1,1,5)}' 分别是第1个字段，第1个字符到第5个字符。sed "/$x/d/" file 或 sed -n "$i"p file。整数比较： if [ "$a" -eq "$b" ] a,b为整数。按列: paste a b > c 将文件a b 以列的形式合并。字符串比较：if [ "$a" = "$b" ] a,b为字符串。:echo -n " " >> temp （不换行）按行:cat a>>b 将文件a追加到文件b的尾部。
shell脚本遍历循环抽取数据
Master_Yiran的博客
12-26 479
【代码】shell脚本遍历循环抽取数据。
shell脚本查找、抽取指定字符串的方法(sed,grep,awk,cut)
weixin_41552582的博客
09-23 9759
最近使用：iwconfig wlan0 | sed 's/ /\n/g' | grep -i mode //查看wlan0模式 原理：先以空格为通配符，并将其替换成换行符“\n”；每一段字符串单独成行，再grep查找 在linux中经常要对一些动态的文本文件抽取指定的字符串，比如执行ps命令后想要获取指定的运行进程（如ps自己）的PID号(同一个进程每次启动的时候pid号是随机分配的)。该怎么办呢？当然，可以用一些截取字符串的方法，这里介绍一下用2种方法来解决这类问题。 一、sed+grep方法...
shell脚本抽取oracle数据
01-26
以下是一个示例的shell脚本，用于从Oracle数据库中提取数据： ```shell #!/bin/sh # 连接到Oracle数据库 sqlplus -S "/ as sysdba" <<EOF # 设置输出格式 set colsep ',' set heading off set pagesize 0 set feedback off # 执行SQL查询并将结果导出到文件 spool output.csv SELECT * FROM your_table; spool off # 退出SQLPlus quit EOF ``` 这个脚本将连接到Oracle数据库，并执行一个SQL查询来选择你指定的表中的所有数据。查询结果将被导出到一个名为output.csv的文件中。 你可以将上述脚本保存为extract_data.sh，并在终端中运行以下命令来执行脚本： ```shell sh extract_data.sh ``` 执行完毕后，你将在当前目录下找到一个名为output.csv的文件，其中包含从Oracle数据库中提取的数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值