前嗅ForeSpider脚本教程：链接脚本

2019独角兽企业重金招聘Python工程师标准>>>

链接脚本是链接抽取中的脚本。配置了链接脚本，链接的抽取流程将被改变： 脚本未正确返回dom区域节点，则该链接抽取的规则将完全由该脚本控制。

2.如果脚本返回了一个正确的dom区域节点，则此链接抽取以返回的区域节点为基准，区域外的链接将被过滤掉。

一.可用全局对象（只读）

EXTRACT: 当前采集引擎[ 对象类型: extractor ]

DATADB: 当前连接的数据库[ 对象类型: dataBase ]

RESULT: 当前结果集对象[ 对象类型: result ]

URL: 当前采集的链接对象[ 对象类型: url ]

URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型: urltext ]

DOC: 当前采集的文档对象[ 对象类型: grabDoc ]

DOM: 当前采集文档的dom对象[ 对象类型: dom ]

ITEM: 模板区域的dom树节点(如果模板未选择区域则为dom树的根节点)[ 对象类型: domItem ]

TMPL: 当前文档模板对象[ 对象类型: tmplTmpl ]

二.this对象

当前链接抽取[tmplLink]对象。

三.脚本返回值

如果要采集某个特征区域内的链接，则必须返回该区域的dom节点( domItem对象)。 否则该链接抽取则完全由脚本控制。

示例

采集第一个Form表单中的链接：

return DOM.FindName("form")；

在链接模板需要的链接无法用爬虫过滤得到，就要写链接脚本。下面是每个链接脚本必有的代码：

url u;

u.title = "";

u.urlname = "";

u.tmplid = 3;

u.entryid = CHANN.id;

RESULT.AddLink(u);

转载于:https://my.oschina.net/forespider/blog/3028559