备忘:Python爬虫(urllib.request和BeautifulSoup)
学习urllib.request和beautifulsoup,并从dribbble和behance上爬取了一些图片,记录一下
一、urllib.request
1. url的构造
构造请求的url遇到的主要问题是如何翻页的问题,dribbble网站是下拉到底自动加载下一页,地址栏的url没有变化,如下:
但是通过检查,我们可以发现request url里关于page的字段,如下:
...
原创
2018-10-06 17:06:06 ·
1986 阅读 ·
0 评论