Python爬虫

Python 批量下载图片

要批量下载图片，首先的有个图片的地址，要批量下载，那么就得解析网页，自动获取图片的地址，一页的图片总是不够的，所以需要翻页。

下载图片

下载图片就要用到网络库，用的是 request

• 创建requests,注意开启stream
• 因为图片都比较大，用流的方式保存图片

r = requests.get(url, stream=True)
filename = os.path.join(base_path, str(index)+".jpg")
with open(filename, 'wb') as fd:
    for chunk in r.iter_content(1024):
        fd.write(chunk)

解析图片url

现在网页都是用js来加载内容，所以抓取的静态网页是没有图片的。所以需要等js加载完内容才能去获取图片。
比较简单的方法使用浏览器来模拟，找到Python的selenium库。
简单介绍下安装selenium库。
1.使用pip
pip3 install -U selenium
但是一直失败，无奈使用源码安装
从 selenium clone 下来
运行 python3 setup.py install
3.使用的chrome，的下载连接chrome的驱动
chromedriver
4.就可以用chrome来加载网页了

 web = webdriver.Chrome("path/chromedriver"))
 web.get("http://pp.163.com/pp/#p=10&c=-1&m=3&page=1")
 web.find_elements_by_css_selector("a.img.js-anchor.etag.noul")

分页

这个就是找到下一按钮，在点击

 next = web.find_element_by_css_selector("span.pgi.pgb.pgbright.iblock")
 next.click()

完整代码在github