Two extractors couldn't work together

Hi,everyone
  I have enjoyed Scrubyt for days and it worked greatly in most case.However,problems came out when scraped urls from Google and Yahoo at the same time.Here is my code:

 

require 'rubygems'
require 'scrubyt'

Scrubyt.logger = Scrubyt::Logger.new
query = 'ruby'
google_data = Scrubyt::Extractor.define do
      fetch 'http://www.google.com/ncr'
      fill_textfield 'q', query
      submit
      
      #retrieve by xpath
      title "/html/body/div/div/div/a" do
        url "href", :type => :attribute
      end
    end #end of extrator
 google_file = File.open("google.xml", "w")
 google_data.to_xml.write(google_file, 1)
 google_file.close
 
 yahoo_data = Scrubyt::Extractor.define do
      fetch 'http://search.yahoo.com'
      fill_textfield 'p', query
      submit
      
       #retrieve by xpath
      title "/html/body/div/div/div/div/div/div/div/ol/li/div/h3/a" do
        url "href", :type => :attribute
      end
 end #end of extrator
   
 yahoo_file = File.open("yahoo.xml", "w")
 yahoo_data.to_xml.write(yahoo_file, 1)
 yahoo_file.close

 

 

Running Environment: Ubuntu 7.04 + Netbeans 6.0 + Scrubyt

 

google.xml

<root>
    <title>
      <url>http://www.ruby-lang.org/</url>
    </title>
    <title>
      <url>http://www.ruby-lang.org/en/20020101.html</url>
    </title>
    ...
<root>

 

 

yahoo.xml

<root>
    <title>
      <url>http://rds.yahoo.com/_ylt=A0oGklhqbodHe08AchtXNyoA;_ylu=X3oDMTE5MXY5dDllBHNlYwNzcgRwb3MDMQRjb2xvA3NrMQR2dGlkA1lTMTk4XzgyBGwDV1Mx/SIG=11ff2e34s/EXP=1200144362/**http%3a//www.ruby-lang.org/en</url>
    </title>
    <title>
      <url>http://rds.yahoo.com/_ylt=A0oGklhqbodHe08AdBtXNyoA;_ylu=X3oDMTE5cHJpN25qBHNlYwNzcgRwb3MDMgRjb2xvA3NrMQR2dGlkA1lTMTk4XzgyBGwDV1Mx/SIG=12aq03736/EXP=1200144362/**http%3a//en.wikipedia.org/wiki/Ruby_programming_language</url>
    </title>
       ...
<root>

 

If switched the order of two extractors,that's define yahoo extractor fitstly,the result changed:


google.xml

<root/>

 

yahoo.xml

<root>
    <title>
      <url>http://www.ruby-lang.org/en</url>
    </title>
    <title>
      <url>http://en.wikipedia.org/wiki/Ruby_programming_language</url>
    </title>
    .....
<root> 

 

It seems the latter extractor will be influenced by the former one. Since xpath  I used for Yahoo is longer than Google, the result form Google is empty when defined Yahoo extractor firstly. 
  Why is that and how can I overcome this problem? Thanks in advance.

【202503】Wan:开放且先进的大规模视频生成模型【1.3B、14B】【支持对无限长度视频进行稳定的Inference】【Wan中的主要计算开销来自注意力机制】 wan: Open and Advanced Large-Scale Video Generative ModelsWan:开放且先进的大规模视频生成模型Wan Team, Alibaba Group Wan 团队,Alibaba GroupThis report presents Wan, a comprehensive and open suite of video foundation models designed to push the boundaries of video generation 阅读详情

相关推荐

视觉特征-自监督-同源不同crop视图一致性【2023-04】:DINOv2(无监督学习鲁棒视觉特征)【12 亿张互不重复的图像】【判别式自监督方法】【交叉熵损失+iBOT损失】

近期,自然语言处理领域在大量数据上进行模型 Pretraining 取得的突破,为计算机视觉中类似Foundation Model 的发展开辟了道路。这些模型能够生成通用视觉特征,即无需微调即可跨图像分布和任务发挥作用的特征,从而大幅简化图像在任何系统中的使用。本研究表明,现有的 Pretraining 方法,尤其是自监督方法,如果在来自多样化来源的充足精选数据上进行训练,便能够产生此类特征。我们重新审视了现有方法,并结合不同技术,从数据规模和模型规模两方面扩展我们的 Pretraining。

u013250861的博客 385

gdb Couldn‘t get registers: No such process.

gdb Couldn't get registers: No such process.报这个错误的原因是因为设置条件断点时,条件不满足 如下 改成 b sip_server_deal.cpp:179 if pchEvent == "Alarm" 就好了

sun007700的专栏 2146

网络抓包实战:如何捕获与解析802.1Q VLAN标签报文

在网络通信中,数据包是信息传输的基本单元,而VLAN(虚拟局域网)技术通过在数据链路层插入802.1Q标签,实现了网络流量的逻辑隔离与高效管理。其核心原理是在标准以太网帧头中嵌入4字节的VLAN标识,使交换机能够根据VID(VLAN ID)进行精准转发。掌握VLAN报文的捕获与解析技术,对于网络故障排查、安全审计和性能优化具有重要价值,尤其在需要验证网络隔离策略或诊断Trunk链路异常时。本文聚焦于使用Wireshark工具,结合端口镜像等实操方法,详细演示如何抓取并解读携带802.1Q标签的原始报文,帮助

weixin_33417488的博客 385

gdb Couldn't get registers: No such process

gdb 时收到Couldn't get registers: No such process错误退出程序

Dalek的专栏 3907

从零到一:手把手教你用C#开发AGV调度系统(附避坑指南)

本文详细介绍了如何使用C#开发高效的AGV调度系统,涵盖从环境搭建到核心算法实现的完整流程。重点解析了动态路径规划、多机协同等关键技术,并提供了实用的避坑指南和性能优化建议,帮助开发者快速构建工业级车辆控制调度系统。

blockchain9miner的博客 743

hi3516cv610在PQStream上实现拉出图像,windows和板端操作记录

PQStream拉出图像

weixin_51838255的博客 730

Ubuntu系统下YOLO训练报错:Couldn't open file: train.txt

问题描述 在ubuntu中重新训练YOLO 时,报错如下: 检查文件,没有错误,检查路径,完全正确。 问题分析 检查文件,没有错误,检查路径,完全正确。可是我忽略了一个问题,就是我用的txt,voc.data,voc.name文件,都是在Windows系统下生成的。文档格式有问题,需要修改一下。 问题解决 下载一个notepad++,打开文件。 选择 视图 -> 显示符号 -> 显示...

mingo_敏 4346

立创开源桌面激光雕刻机DIY全解析:从悬臂结构、Arduino主控到Marlin固件

本文详细解析了基于立创开源平台的桌面激光雕刻机DIY全过程。重点介绍了悬臂式机械结构的设计与优化,阐述了采用Arduino Mega 2560主控与RAMPS 1.4扩展板的经典控制方案,并深入讲解了Marlin固件的关键配置步骤,包括电机步数计算与激光功能启用,为创客和电子爱好者提供了一套完整的从硬件搭建到软件调试的实战指南。

weixin_42510201的博客 387

Couldn't load match `state':No such file or direct

iptables -R OUTPUT 1 -m state --state ESTABLISHED -j ACCEPT iptables v1.6.1: Couldn't load match `state':No such file or directory Replace "-m state --state " with "-m conntrack...

weixin_34185512的博客 2602

DCM、PLL以及DLL等概念及详情

介绍DLL、PLL以及DCM的概念,总结其模块构成、工作原理、相互之间的差异与各自优势。

CLL_caicai的博客 8340

倍福 MODBUS TCP/IP通信

(*默认字符串80字节,此处声明为255字节,可以一次性传42个UINT数据.5位整数加一个空格,即每个数据6字节*)(*---------------------------------------- 以下为用户程序 ----------------------------------------*)(*读回并换算后的值*)(*准备写到PLC的值*)(*用于比较两次读回的值相差多少,以估计通讯的速度, Act_CalcDiff*)(*用于切换读和写,Act_Protocal*)

qq_33280096的博客 1368

HDLBits刷题合集—13 Shift Registers

HDLBits刷题合集—13 Shift Registers HDLBits-106 Shift4 Problem Statement 构建一个4位移位寄存器(右移位),具有异步置位、同步置数和使能。 areset:将移位寄存器置零。 load:用data[3:0]载入移位寄存器而不是移位。 ena:向右移位(q[3]变为零,q[0]被移出去,消失)。 q:移位寄存器的输出。 如果load和ena同时输入为1,则load具有更高的优先级。 代码如下: module top_module( input

GitHDL的博客 2536

【SpringBoot 4.x 第2节】夯爆了,学习 Spring Boot 4.x 前,需要具备哪些 Java 基础?

🏆 本文收录于 《滚雪球学 Spring Boot 4.x》 专栏。 本专栏面向 有一点 Java 基础,但没有系统学过 Spring Boot 的读者,采用“滚雪球式学习法”:先跑通、再理解、再重构、再上线,最终带你从第一个 Hello API 一路完成一个可部署、可监控、可扩展的后端项目。

**My Coding Family** 4576

Get the exit code of a process

    Reference: http://www.devx.com/vb2themax/Tip/18663

TJJ 158

第七天 Labview进阶(7.3 Teststand简单使用)

TestStand是NI开发的自动化测试管理软件,支持多语言编程和硬件集成,广泛应用于电子产品和工业测试。安装时需注意版本选择,2022版支持离线安装。使用步骤包括:1)创建测试序列文件;2)插入测试动作并配置参数(如选择VI路径、设置变量);3)添加条件判断和延时控制;4)执行测试序列时具备流程控制功能,如失败步骤自动跳过后续测试。该软件能有效提升测试效率与准确性,通过可视化操作实现复杂测试流程管理。

weixin_38637405的博客 1733

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

couldn't get cmd pointer (substituting NULL): extracting data from value failed Couldn't materialize

今天再调试程序的时候 po 一个bian liang

think_ma 6618

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Ubuntu 安装出现Error parsing PCC subspaces from PCCT 解决方法:acpi=off NVIDIA显卡驱动

出现Error parsing PCC subspaces from PCCT 解决方法:acpi=off 参考链接:https://blog.youkuaiyun.com/qq_36661831/article/details/79724930 在参考链接里面进行到用U盘启动的时候出现错误: Error parsing PCC subspaces from PCCT Couldn't get siz...

lgh110cool的专栏 1万+

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

使用Bugzilla,你肯定会遇到的坑。

最近和几个朋友一起做用户态协议栈开源项目 NtyTcp,纯业余爱好,个人情怀。刚刚开始做有好多的Bug,故搭建了一个Bugzilla,用来上传Bug的。有几个开发朋友想在 bug.ntytcp.com提交bug,不能注册,因为不能发邮件。至于为什么不能发送邮件?因为阿里云把25端口封了,使用smtp不能发送。使用465端口发送,发现发不出来,又找不到原因。硬着头皮比Bugz...

weixin_34123613的博客 617

failed to get the task for process

1.证书 都没问题 但在真机上就是不能debug 解决办法: 删除 已build 的app 1.重启 xcode  2.重启 iphone 3.重启 mac 本人 重启电脑后ok了。

谁的青春不迷茫 2670

iTutorGroup出席GET2018:碎片化英语教学将成主流

11月13日,在主题为“碰撞•演变”的GET2018教育科技大会上,iTutorGroup创始人、董事长兼CEO杨正大发表主题为《在线教育的未来趋势》的演讲。杨正大对大班制、一对一、一对多等多种在线教育形态展开了讨论分析。以下是杨正大的演讲精选实录: 在线教育的不同形态,是要一对一还是一对多的小班制? 我们一开始做在线教育的时候思考了非常多不同的形态,不要说APP,APP如果是PC端就是所谓的人...

yoyoyang1011的博客 427

get process id of program

def get_pid(pname): process = psutil.process_iter() for pro in process: str_pro = str(pro) pat = re.compile(pname) if pat.search(str_pro): pid = str_pr...

pydict的博客 158

couldn't get the list of Gitee repositories

今天在Android Studio3.1.4上想使用码云的时候,突然报了这个错:couldn't get the list of Gitee repositories 百度了一下,发现网上关于码云的东西不是很多,没找到。 后来我发现,在AS中使用快捷键Ctrl+Alt+S打开设置对话框,选择Version Control,再选择Gitee,会看到,Access Token没有填写,点击右侧...

qq_36317441的博客 2236
上一篇: 测试策略
下一篇: 在 Eclipse3.3 下运行 Nutch 0.9(解决Generator: 0 问题)
DustinCheung
博客等级 码龄20年 2粉丝 5原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值