u010376229的博客

1、克隆代码到本地（注意这个项目是基于python3的）https://github.com/Python3WebSpider/ProxyPool.gitgit clone https://github.com/Python3WebSpider/ProxyPool.git2、cd到项目目录，安装依赖pip3 install -r requirements.txt3、启动redis,可以是远程的，可以是本地的如果有密码需要在setting.py里设置# redis host

官方网站：（需要有外网才可以访问）https://sites.google.com/a/chromium.org/chromedriver下载地址（两个都可以）：https://chromedriver.storage.googleapis.com/index.htmlhttp://npm.taobao.org/mirrors/chromedriver/

所有的一切都跟上一篇文章是一样的，不同的是不用写长长的正则表达式啦，上一期传送门https://blog.youkuaiyun.com/u010376229/article/details/114042780这次我们需要用到BeautifulSoup，只需简单的学习一下就剋不用写正则表达式啦，而且更加清楚def get_books_info_of_current_page(page): html = get_html("http://bang.dangdang.com/books/fivestars/

1、首先打开当当网，点击好评榜，选择近30日，此时浏览器中的URL复制一下，备用http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-12、每一页显示20本书，点击下一页可以发现URL变化了，但是只有最后一个数变化，http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-2，对应页数3、F12打开开发者工具，