selenium爬虫

借助selenium爬取数据

selenium本来说是用于测试的工具，但是因为可以自动化登录以及操作的情形，可以用于一些动态页面加载的爬虫情况，这里主要记录一些简单使用技巧和注意的事，具体内容可以参考Python模块的中文文档：http://selenium-python-zh.readthedocs.io/en/latest/index.html

---

安装

Python包的安装很简单，pip install即可，注意的是需要浏览器相应的driver。比如chrome需要对应的驱动，参考链接：https://sites.google.com/a/chromium.org/chromedriver/downloads

里面是一个exe的程序，需要放到系统变量中，特别的在windows中，需要在环境变量中配置，比如放置到system32中就可以在Python中调用。

具体操作细节问题汇总

参考中文文档很快就会，以后会更新一些细节问题。

(1) Selenium Compound class names not permitted
在搜索click button时，有些button的class名比较复杂，如:

<a class="btn btn-primary more-btn load-more" href="#" style="display: block;">Load More</a>

其中的class名是复合型的，不能直接用代码：

but = driver.find_element_by_class_name('btn btn-primary more-btn load-more')

而应当用：

but = driver.find_element_by_css_selector('.btn.btn-primary.more-btn.load-more')
but.click()

(2) scrapy 页面测试和提取
我通常都是把返回的html页面保存在本地，在于bs4进行测试提取。

with open('test.html','w') as f:
    f.write(response.text)

有想到的再补充。