从html脚本中提取信息,Scrapy：从HTML脚本中提取JSON

最新推荐文章于 2022-11-23 18:45:15 发布

weixin_39913422

最新推荐文章于 2022-11-23 18:45:15 发布

阅读量191

点赞数

文章标签：从html脚本中提取信息

您可以使用js2xml进行此操作。在

为了说明这一点，首先，让我们用示例HTML创建一个糟糕的选择器，并获取JavaScript语句：>>> import scrapy

>>> sample = '''

... $(document).ready(function(){

... var terms = new Verba.Compare.Collections.Terms([{"id":"6436","name":"SUMMER 16","inquiry":true,"ordering":true},{"id":"6517","name":"FALL 16","inquiry":true,"ordering":true}]);

... var view = new Verba.Compare.Views.CourseSelector({el: "body", terms: terms});

... });

... '''

>>> selector = scrapy.Selector(text=sample, type='html')

>>> selector.xpath('//script//text()').extract_first()

u'\n $(document).ready(function(){\n var terms = new Verba.Compare.Collections.Terms([{"id":"6436","name":"SUMMER 16","inquiry":true,"ordering":true},{"id":"6517","name":"FALL 16","inquiry":true,"ordering":true}]);\n var view = new Verba.Compare.Views.CourseSelector({el: "body", terms: terms});\n });\n'

然后我们可以用js2xml解析JavaScript代码。你得到了一棵lxml树：

^{pr2}$

这棵树长什么样？很冗长：>>> print(js2xml.pretty_print(jstree))

6436

SUMMER 16

true

6517

FALL 16

true

body

您可以使用XPath技巧来指向JavaScript数组(您希望将new构造的“dot”访问器的第一个参数分配给var terms)：>>> jstree.xpath('//var[@name="terms"]')

[]

>>> jstree.xpath('//var[@name="terms"]/new/arguments/*')

[]

>>> jstree.xpath('//var[@name="terms"]/new/arguments/*')[0]

最后，既然有了元素，就可以将其传递给js2xml.jsonlike.make_dict()以获得一个好的Python对象来使用(make_dict有点误名)：>>> js2xml.jsonlike.make_dict(jstree.xpath('//var[@name="terms"]/new/arguments/*')[0])

[{'ordering': True, 'inquiry': True, 'id': '6436', 'name': 'SUMMER 16'}, {'ordering': True, 'inquiry': True, 'id': '6517', 'name': 'FALL 16'}]

>>>

注意：您还可以使用快捷键js2xml.jsonlike.getall()来获取所有看起来像Python dict或list的内容(如果有2个列表，您对第一个列表感兴趣)：>>> js2xml.jsonlike.getall(jstree)

[[{'ordering': True, 'inquiry': True, 'id': '6436', 'name': 'SUMMER 16'}, {'ordering': True, 'inquiry': True, 'id': '6517', 'name': 'FALL 16'}], {'el': 'body', 'terms': 'terms'}]