
爬虫
奇妙探险家
浮光跃金,静影沉璧
展开
-
爬虫获取ajax异步请求的html内容
使用爬虫时有时会发现浏览器中看到的html内容在程序get()的结果中看不到,这是因为页面中使用了ajax技术,即在加载页面时不一次性发出所有内容,浏览器收到第一次发出的页面内容后运行其中的程序,再向服务器请求部分内容构成完整页面,用爬虫只能得到第一次发出的html,导致无法得到所需内容。此处::befer和::after之间的部分在使用爬虫的get()方法得到的html中看不到,因为这是异步原创 2017-02-06 23:26:20 · 30867 阅读 · 2 评论 -
使用python+selenium制作浏览器爬虫,彻底解决ajax异步加载问题(待更新)
打开浏览器需要下载相应的webdriver并保存到系统path下。chrome对应的webdriver下载地址:http://download.youkuaiyun.com/detail/u013760453/9790569from selenium import webdriverfrom selenium.webdriver.common.keys import Keysbrowser=web原创 2017-03-23 17:25:44 · 10255 阅读 · 0 评论