python爬虫
关注
分享
扫一扫
超级码li
技术与思维。
展开
-
selenium中的ChromeDriver与phantomJs
selenium中的ChromeDriver模拟浏览器中的一些操作，如输入，点击等，它模拟这些操作的过程中，会出现一个浏览器，该浏览器显示我们模拟的各种操作过程。若想要模拟这些操作时不出现浏览器，那么采用phantomJs来代替Chromedriver，从而在后台完成同样的模拟操作。...原创 2018-05-16 21:41:12 · 1125 阅读 · 0 评论 -
Windows下安装scrapy出现pywin32错误，而且下载安装pywin32库之后还是出现同样的错误！
因为在windows下安装的是anocaonda这个全面的工具包，那么你在安装scrapy框架时，正确的步骤应该是 在cmd命令行下：conda install scrapy 然后 输入y 回车，就安装好了。也就是说当你安装了anaconda后，再进行scrapy的安装是不用安装pywin32的。...原创 2018-06-08 10:01:45 · 1225 阅读 · 0 评论 -
scrapy实战爬取知乎用户信息的步骤
在settings.py文件中，obey robot.txt 那儿设值为false。在default_request_headers中设user-agent,如果不设置的话，知乎的服务器会认为你不是浏览器的访问，会禁止你的访问，从而得到500的错误码。...原创 2018-06-19 14:26:18 · 291 阅读 · 0 评论