brytlevson的博客

python爬虫并且将数据写入csv写入csv文件的方法有很多中，下面代码用到的是文件操作方式。还有一种参考另一篇文章中的代码，pandas写入csvpandas写入csvimport requestsfrom bs4 import BeautifulSoupimport jsonimport csvdef get_city_aqi(pinyin): url = 'http://www.pm25.in/' + pinyin r = requests.get(url, ti

爬中过程中解决html乱码和获取的文本乱码问题response1 = requests.get(url=detail_url, headers=headers)responseText1 = response1.text获取的html中有乱码，xpath解析出来的文本当然也有乱码。解决办法：responseText1 = response1.text.encode(‘iso-8859-1’)utf-8也不行，用iso-8859-1# coding=utf-8import requestsf

爬小说解决乱码问题：今天给朋友爬了一本小说： 虽然没有什么反爬，但是爬取到的内容一直是乱码。解决方法： 对获取到的文本编码，不能是‘gbk’ 也不能是’utf-8’response = requests.get(url, headers).text.encode(‘iso-8859-1’)源代码：import requestsfrom lxml import etreeimp...

scrapy作为爬虫比较成熟框架，现在用的是最多的爬虫框架，当然，除了自己开发的框架；crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。Downloader...

在最近的业务需求中发现淘宝，美团吗，京东各大网站已经对selenium进行了反爬；推测，服务器端因该是判断一些特殊的字段和方法来识别爬虫，毕竟selenium下的chromedriver 与真实的chrome所在的环境和配置等是有差异的。为了完成项目需求，我尝试了一些简单的方法；方法一：发送请求的时候携带cookie，采用requests的Session状态保持，事实证明这种方法简单有效，...