shell向pg写入数据定时任务

最新推荐文章于 2024-12-11 19:24:43 发布
最新推荐文章于 2024-12-11 19:24:43 发布
阅读量380 收藏
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jsboy123/article/details/109675450
版权

https://www.postgresql.org/docs/current/libpq-pgpass.html

 

  1. cd ~
  2. vi .pgpass，并加入需要登录的服务器的信息，格式：地址:端口:数据库:用户名:密码
    这里为127.0.0.1:5432:db:username:password
  3. 保存退出，添加权限 chmod 0600 ~/.pgpass。可用命令ls -al |grep .pgpass查看配置的权限
  4. 连接查看：psql -h ip -p 5432 -d WaterloggingManage -U postgres --command "select * from tbl_weather"
Thingworx平台：通过kepware将底层PLC变量写入指定数据库的方法
weixin_43691879的博客
07-25 5559
通过kepware可以实时的将触发性的事件数据写入指定的数据库表，从而可以降低通过时序性采集的数据量，Thingworx平台可通过访问数据库的方式对数据进行二次处理并展示。下面就是具体的实现方法： 1、 打开kepware，建立设备的连接通道（主要是PLC的），将数据从PLC中采集到kepware平台。本示例中采用的通道是OPC_UA的方式，通过作为OPC Client端去另外一台kepware ...
shell定时脚本，从0开始，csv格式数据定时导入PostgreSql数据库shell脚本例子
weixin_39434182的博客
10-20 1591
前言： 如题所示，本文是从0开始，面向新手的。 有一定基础的同学，可以自行跳到自己有需要的部分，进行选择观看。 本文章涉及的所有命令和脚本，都经过笔者亲测可用。 如有问题或笔误，欢迎沟通和指正。 一、shell脚本的相关知识和第一个shell脚本例子编写; 对于没接触过shell脚本的朋友，我们先来写一个shell脚本的例子; 1.首先建立一个shell脚本; 在linux上vim demoShell.sh #/bin/bash # shell语法中#是注解，上面的#/bin/bash是脚本启动项，一般sh
Linux shell 操作 postgresql，并设置crontab任务
AB20093248的博客
04-11 407
Linux shell 操作 postgresql：删除间隔日期的数据-删除指定日期的数据-vacuumdb 清理数据库 -清理日志 -定期执行脚本 *修改pg_hba.conf 设置本地连接无密码，trust # "local" is for Unix domain socket connections only local all all ...
shell+crontab制作postgresql数据库定期备份脚本
uzong
12-22 693
使用shell脚本+crontab制作定期脚本备份 业务背景 在开发期间，定期对数据库备份是非常有必要的，下面制作了粗来的脚步。 第一步：编写shell脚本 #! /bin/sh #获取一个时间戳 ymdhm=`date +%Y%m%d%H%M` echo $timestamp $ymdhm #创建文件夹 mkdir -p /home/pgdatabackups/$ymdhm #路径 ba...
pgsql函数定时更新表_量化交易中定时通过Tushare更新每日股票数据
weixin_39857792的博客
01-23 348
一般在做回测的时候，如果不是实时策略，都没有必要实时从Tushare拉取数据。通常做法就是，将历史数据提前下载到本地数据库，然后每天设定定时任务进行更新。在python里面有个定时器组件可以完成指定的任务# pip install schedule import schedule import time from dao import jobs # 具体的定时任务调用，通过字符串调用函数 de...
Postgresql PL/PGSQL 程序语言系列 1 (存储过程过时了吗,与函数)
sql server的专栏
09-14 337
年龄到底是不是一个问题,35岁是一个坎,招聘中有一些门槛这不奇怪,奇怪的是那这些信息去贩卖的人, 让整体的中国中年人活在焦虑和不安中,这绝对不是一个好人应该做的事情,小范围的事实是可...
数据库定时shell脚本 对表定时做前一天数据导出备份 同时删除当前表前一天导出数据
09-12
这个shell脚本，命名为`cron_update.sh`，通常会与Linux系统中的cron定时任务服务配合使用，以确保过程的准时执行。 首先，让我们了解`shell脚本`。Shell是Unix或Linux操作系统中的命令解释器，允许用户通过命令行...
Shell脚本定时清理PostgreSQL过期数据
qq_24095055的博客
05-15 5488
前面实现了在数据库中通过编写函数（存储过程）和触发器来清理创建时间七天以上的数据，用的触发策略为insert，即每次插入数据都会触发该清除历史数据的函数，性能上考虑太差了，所以优化为通过shell脚本的形式来定时在每天凌晨两点清除。 shell脚本如下： #!/bin/sh # 自动定期删除创建时间大于七天的记录 /home/cms/postgresql/bin/psql -h 127.0.01 ...
使用shell脚本+Cron任务自动执行postgres数据库备份
qq_30665009的博客
07-26 844
思路：先创建一个shell脚本，用于备份pgsql数据库，再使用Cron任务，根据自己需求设置定时任务。环境：centos7+postgres12.0一、创建一个根据日期来定义备份文件名的脚本1. 创建db_backup.sh文件touch db_backup.sh2. 赋予777权限chmod -R 777 db_backup.sh二、对db_backup.sh文件进行编写脚本编辑db_bac...
Linux下shell脚本处理从数据库导出数据
weixin_42005602的博客
08-25 1718
前言 一个常见的需求，需要任务执行，自动化从数据库导出数据，并以Excel表格的形式发送。 实践 #!/bin/bash HOSTNAME="这里是ip地址" PORT="3306" USERNAME="username" PASSWORD="password" DBNAME="dbname" TABLENAME="table_name" DATE=`date "+%Y-%m-%d"` Path=/backup select_sql='this is your sql' mysql -h${HOSTN
pg常用自制shell脚本-tina
lt89102476的博客
01-13 2001
[size=small]1）小型监控： 1.在pg库主机上部署，每5分钟执行一次，插入到我的测试pg库内 [root@mysqltest tina_shell]# cat jk_pg.sh #!/bin/bash #适用于中转库192.168.12.8和12.2 running_port=`netstat -nat|grep "LISTEN"|grep "5432"|sed -n 2p...
pgsql存储过程游标申明报错_pgRouting教程八：使用pl/pgsql写存储过程
weixin_39638086的博客
12-09 372
本文衔接上篇文章：不睡觉的怪叔叔：pgRouting教程七：使用SQL存储过程​zhuanlan.zhihu.com PostgreSQL支持多种语言来写存储过程，本文将使用pl/pgsql来写一个新的存储过程（函数）。一、规划从A点到B点的路径 以下函数以基于EPSG:3857坐标系的坐标点作为输入参数，并返回可在QGIS或支持WMS服务的WebGIS服务器（如Mapserve...
shell学习笔记--xxx用户下执行批量插入PG数据库数据
jinjin_gogo_fighting的博客
05-28 730
shell学习笔记–xxx用户下执行批量插入PG数据库数据 此数据库表数据是关联到其他表，故先将关联表中对应数据取出存入nodeidLive.txt和chanidLive.txt中，再批量插入。 #/bin/bash nodefile=/home/postgres/jlr/nodeidLive.txt chanfile=/home/postgres/jlr/chanidLive.txt sed -i 's/\r//' $nodefile sed -i 's/\r//' $chanfile a=1 b=999
kepserver写入mysql_Kepware实现向数据库实时写入数据
weixin_39811478的博客
01-20 2008
首先认识一下两位主角。1.首先建立Kepware与设备的连接，如与PLC，DCS等设备的连接。使用自带的Simulator进行数据仿真。2.新建通道，通道类型为：Simulator，下一步指定名称为：Sim，其他可以为默认，直到完成设置。3.配置DataLogger 设置与数据库的连接，新建一个 LogGroup3.1设置LogGroup 的Name: SQL Server ，Up...
PostgreSQL在linux中免密登录执行函数.pgpass
zhu19940121的博客
12-04 3346
记录一下自己在远端操作Postgresql数据库遇到的问题和解决方法。（Linux下） 这篇主要提供给可能跟我遇到同样问题的朋友，就是在按照网上查询的方法配置了.pgpass文件但是发现没有生效。 项目中有一个需求，需要用到shell脚本去调用pg函数，可是在每次运行脚本的时候都需要输入password。这里需要跳过这个密码验证，然后在官方找到了解决办法，在服务中找到postgresql的路径...
shell脚本，向postgresql任意表中插入大量数据
Aiky哇
09-29 2401
由于业务需要，需要测试操作大量数据的时间，但是对于表字段比较多的表，并且表很多时，经常手动插入就很累，所以写了个自动根据系统表获取表字段，并且根据参数向表中插入大量数据的shell脚本 使用时需要的必要参数： $host ，$port ：postgresql端实例连接用的端口号 $username，$password ：登录数据库时使用的用户名和密码 $dghome：postgresql的bin目录，目录下有psql工具，用来连接数据库 $dbname：表所在的数据库名称 $relation：需
高效数据管理：KEPServerEX数据写入数据库案例推荐
gitblog_06610的博客
10-31 492
高效数据管理：KEPServerEX数据写入数据库案例推荐 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在工业自动化领域，数据的采集与存储是至关重要的环节。KEPServerEX作为一款广泛应用的OPC服务器软件，不仅能够高效地采集工业设备的数据，还能通过其强大的Datalogger功能将这些数据写入数据库，实现数据的持久化存储和管理。本项目提供了一个详细的案例，展...
PG配置.pgpass密码文件
04-11 2667
PG配置.pgpass密码文件 一个用户的“~/.pgpass”文件能够包含在连接需要时使用的口令（并且其他情况不会指定口令） # 格式 hostname:port:database:username:password # 示例 echo "*:*:*:*:1qaz@WSX" > ~/.pgpass chmod 600 ~/.pgpass # 默认情况下是需要输入密码的 [pg12@wcbpgcm1 data]$ psql Password for user postgres: psql
Shell脚本一键推送PostgreSQL数据库查询结果至钉群告警
lmzf2011的专栏
12-11 202
【代码】Shell脚本一键推送PostgreSQL数据库查询结果至钉群告警。
定时任务插入数据到postgreSQL分区表
最新发布
03-26
### 如何设置定时任务以向 PostgreSQL 分区表插入数据 为了实现通过定时任务向 PostgreSQL 的分区表中插入数据，可以通过以下方法完成： #### 方法一：使用 `pg_cron` 扩展 PostgreSQL 提供了一个名为 `pg_cron` 的扩展工具，允许在数据库内部调度作业。以下是具体的步骤： 1. **安装并启用 `pg_cron` 扩展** 需要先确保服务器上已安装 `pg_cron` 并启用了该功能。 ```sql CREATE EXTENSION IF NOT EXISTS cron; ``` 2. **定义插入逻辑** 创建一个存储过程或 SQL 脚本，负责将新数据插入到分区表中。例如： ```sql CREATE OR REPLACE FUNCTION insert_into_partitioned_table() RETURNS void AS $$ BEGIN -- 假设有一个主表 orders 和基于日期的分区表 INSERT INTO orders (order_id, order_date, amount) SELECT generate_series(1, 10), current_date, round(random() * 100); END; $$ LANGUAGE plpgsql; ``` 3. **配置定时任务** 使用 `pg_cron` 安排上述函数按指定的时间间隔运行。例如，每小时执行一次： ```sql SELECT cron.schedule('0 * * * *', $$SELECT insert_into_partitioned_table();$$); ``` 此方法的优点在于无需依赖外部脚本或程序，完全由数据库管理。 --- #### 方法二：使用操作系统级的任务计划器（如 Linux Cron） 如果更倾向于使用操作系统的任务计划器，则可以按照如下方式进行设置： 1. **编写 SQL 插入脚本** 编写一个简单的 SQL 文件，其中包含插入数据的逻辑。例如： ```sql -- file: insert_data.sql \connect your_database_name; INSERT INTO orders (order_id, order_date, amount) SELECT generate_series(1, 10), current_date, round(random() * 100); ``` 2. **创建 Shell 脚本来调用 SQL 文件** 将 SQL 文件封装在一个可执行的 shell 脚本中： ```bash #!/bin/bash psql -U your_username -h localhost -f /path/to/insert_data.sql ``` 3. **安排 Cron 任务** 在 Linux 中编辑 crontab 文件，添加一条规则以定期运行脚本。例如，每天凌晨 3 点执行： ``` 0 3 * * * /path/to/run_insert_script.sh >> /var/log/cron.log 2>&1 ``` 这种方法适合需要跨多个环境部署的情况，并且能够利用现有的系统资源。 --- #### 方法三：结合 Spring Batch 或其他框架 对于 Java 应用场景下的项目，可以考虑使用 Spring Batch 来处理批量插入任务。Spring Data JPA 可以直接操作主表，而底层会自动路由至相应的分区表[^1]。 1. **定义批处理 Job** 利用 Spring Batch 创建一个 Job，其 Step 包含读取源数据和将其写入目标表的操作。 2. **调度 Job 运行** 结合 Quartz Scheduler 或 Spring Task 注解 (`@Scheduled`) 实现周期性触发。 示例代码片段： ```java @Component public class PartitionDataInserter { @Autowired private OrderRepository orderRepository; @Scheduled(cron = "0 */5 * * * ?") // 每隔五分钟执行一次 public void scheduleInsertTask() { List<Order> newOrders = generateNewOrders(); orderRepository.saveAll(newOrders); } private List<Order> generateNewOrders() { return IntStream.rangeClosed(1, 10) .mapToObj(i -> new Order(UUID.randomUUID(), LocalDate.now(), Math.random() * 100)) .collect(Collectors.toList()); } } ``` 这种方式特别适用于复杂的业务需求以及分布式架构中的应用层控制。 --- ### 注意事项 - 如果使用声明式分区表，需注意手动维护分区结构，即提前创建未来可能使用的分区表。 - 对于时间戳类型的字段，建议采用标准格式化方式提取年月日等信息以便更好地支持分区策略[^4]。 - 当涉及大量历史数据迁移时，应评估性能影响并采取分批次导入措施[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值