slibra_L的博客

有些网站的反爬机制极强，需要更真实的去模拟人访问网站的动作才可以爬取信息，这时就需要selenium一、selenium是什么selenium是什么呢？它是一个强大的Python库。它可以做什么呢？它可以用几行代码，控制浏览器，做出自动打开、输入、点击等操作，就像是有一个真正的用户在操作一样。二、驱动下载首先需要安装浏览器驱动，下载驱动后将exe文件复制到python根目录下（虚拟环境根目录也可以）ChromeDriver与Chrome版本对应参照表及ChromeDriver下载链接

对于某些静态网站，只要requests.get(‘url')即可获得页面全部内容，如链家使用pgn代表页面、rs代表关键字，https://sh.lianjia.com/ershoufang/pg2rs%E8%99%B9%E5%8F%A3/但对于一些动态加载的网页，则不可以通过直接get url的方式获取到网页内容AjaxAjax 即“AsynchronousJavascriptAndXML”（异步 JavaScript 和 XML），是指一种创建交互式、快速动态网页应用的网页开发技术，无需...

最近在对github和gitlab进行爬取，遇到了很多坑，经过一系列的调研终于解决了问题1、基本设置settings.py下，设置：ROBOTSTXT_OBEY = FalseROBOTSTXT_OBEY 默认为True，就是要遵守robots.txt 的规则，那么 robots.txt 是什么？robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中， 它的作...

对于普通网页的爬取十分简单，如果网站没有任何反爬机制，只要以下代码就可以实现对于网页的爬取import requestshtml = requests.get(url='网址',headers=headers,verify=False)from bs4 import BeautifulSoupsoup = BeautifulSoup(html.text,'lxml')#以下三种方式均...