配置ext重新抓取

ogg source端意外宕机后(13:00宕机),引起ogg不能同步(source和target端数据不同步)。


处理办法如下:
 
一、source端 
1.extract服务:
extract服务状态为:abended
 
解决办法:
alter extract extract_name ETROLLOVER
 
--指定抽取进程extract_name从13:00重新抽取数据
alter extract extract_name,tranlog,begin 2013-09-13 13:00
 
--启动抽取进程
start extract_name
 
info all命令确认状态正常
 
 
2.投递进程pump启动不起来,处理办法
source端:
根据view params PUMP_P1,找到RMTTRAIL的路径及名字,以及target端的ip地址
-----------
EXTRACT PUMP_T1
USERID ogg@xxxx,PASSWORD xxxxxx
SETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")
RMTHOST 10.x.xx.xx, MGRPORT 8050
RMTTRAIL ./dirdat/m1
PASSTHRU
------------
 
然后去/app/oracle/ggs/dirdat目录,
cd /app/oracle/ggs/dirdat
ll m1* -t
 
找出最新的ml(m1是前缀名),取出文件号10509
[oracle@xxxx dirdat]$ ll m1* -t
-rw-rw-rw- 1 oracle oinstall 27957531 Sep 13 16:19 m1010509
-rw-rw-rw- 1 oracle oinstall  5887641 Sep 13 14:56 m1010507
-rw-rw-rw- 1 oracle oinstall  9170994 Sep 13 14:54 m1010508
 

指定投递进程投递的文件号,这里是10509
alter extract PUMP_T1 ETROLLOVER 
alter PUMP_T1 extseqno 10509,extrba 0
 
启动投递进程
start PUMP_P1
 
二、target端:
根据source端的投递进程配置文件中的ip,登陆到target端
 
通过info * 命令找出问题replicat进程,如下面的REP_DS进程就有问题,
它的Log Read Checkpoint时间明显慢于系统时间;且trail文件名字和
source端一致,都是ml前缀,说明文件replicat进程就是REP_DS.
 
GGSCI (c3db0215) 9> info REP_DS
REPLICAT   REP_DS    Last Started 2013-09-13 15:28   Status RUNNING
Checkpoint Lag       00:00:00 (updated 00:00:03 ago)
Log Read Checkpoint  File ./dirdat/m1000752 <<<--------------------trail文件名前缀与source端相同
                     2013-09-13 13:01:49.999909  RBA 1106516 <<<--------------------时间明显慢于系统时间


 
[oracle@c3db0215 dirdat]$ ll m1* -t
-rw-rw-rw- 1 oracle oinstall  1139154 Sep 13 16:32 m1000753  <<<----------取最新trail文件号(0753),注意m1是前缀名
-rw-rw-rw- 1 oracle oinstall 21083373 Sep 13 13:56 m1000752
-rw-rw-rw- 1 oracle oinstall 99999715 Sep 13 11:34 m1000751
-rw-rw-rw- 1 oracle oinstall   128178 Sep 11 11:10 m1000750
-rw-rw-rw- 1 oracle oinstall 60830089 Sep 11 10:26 m1000749
 
 
指定replica进程读取的文件号,然后启动
alter REPLICAT REP_DS extseqno 0753 , extrba 0
start REP_DS;
 
info all /info * 命令确认状态正常

爬虫抓取公网图片是一项常见任务,在Python中有多种库可以协助完成这项工作。以下是简化的步骤指南以及使用的工具。 ### 步骤一:确定目标网页 首先明确你要从哪个网站上获取图片,并确保该操作符合法律规范及道德准则,即遵守各平台的服务条款并尊重版权等规定。 ### 步骤二:选择合适的HTTP请求库发送网络请求 `requests` 库是一个非常好用的选择用于发起GET、POST等方式的http(s) 请求. ```python import requests response = requests.get('https://example.com') ``` ### 步骤三:解析HTML文档定位到img标签内的src属性值 对于静态页面而言,可以直接通过BeautifulSoup 或者lxml 来进行DOM 解析;如果是动态加载内容,则可能需要用到Selenium 模拟浏览器行为加载完整数据后再做处理. 这里我们先讨论简单的案例 - 静态页面: ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text,'html.parser') # 初始化BS对象 images = soup.find_all("img") # 查找所有 img 标签元素列表 urls =[i['src'] for i in images if 'src' in dict(i.attrs)]# 获取每个图像链接URL路径组成的数组 print(urls) ``` >注意:并不是所有的 `img` 元素都会有 `src`,所以在实际应用中最好加上判断条件过滤掉无效条目 ### 步骤四:下载保存文件至本地磁盘 最后一步就是将远程服务器提供的资源流式传输回来存储成本地副本了。 下面的例子会创建一个名为 "downloads" 的目录存放所得到的所有jpg格式图形素材: ```python import os.path as osp for url in urls: try: ext=url.split('.')[-1] # 提取出url 中最后一个"." 后面的部分作为扩展名(简单粗暴) filename=f"./downloads/{hash(url)}.{ext}" r=requests.get(url,stream=True)# 设置 stream 参数为 True 表示开启流模式读取消息体而不是一次性全部接收下来 with open(filename,"wb")as f: for chunk in r.iter_content(chunk_size=8196): if not chunk :break f.write(chunk) print(f"{filename} Saved.") except Exception as e : print(e) ``` 以上就是一个基础版本的 Python 图片采集脚本框架啦~不过需要注意的是,由于涉及到大量的I/O密集型运算,所以建议对并发量加以限制避免造成过大负载影响性能甚至导致程序崩溃。同时也要考虑对方站点是否会因为频繁访问而封禁IP地址等问题哦!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值