My Struggle

前天周一面试的时候，面试官问我爬虫如何寻找json文件的请求地址时，我很自然的回答按F12后，再按network，再选xhr。于是，面试官就问我xhr是什么？我一下愣住了，以前确实学过相关内容，但已经还给老师了，于是这个问题我并没有很好的答出来。这里MARK一下。

昨天，同事让我爬取中国证券监督管理委员会的公墓金的公告，结果没多久就被锁ip了，如下图所示：结果到了今天早上也还是被锁，那怎么办呢？锁定ip一般都有这几种应对办法：1、技术处理，调节网页爬虫的请求频率。2、更换ip，自动更改IP地址反爬虫封锁，支持多线程3、网络处理，代理访问事实上，方法一是在出问题前就该考虑的，可以用time.sleep()来解决。但是，现在现在已经被锁了怎么办？我想了半天可以修改ip，最直接的办法就是连接手机热点，这样就不是用公司的ip了。这时候再用方法一，.

首先这是本次建模的题目： 于是我们先用chrome查看网页源码，还好比较简单是静态页面：在cars for sale 这边选择Used，右键“网页查视网页源码”：如图黄色荧光笔显示的分别是二手出售价格，品牌，里程，型号。是我们需要且可以找到的。可以看到这些东西包含在script标签下，属性是application/ld+json（这里...

这次的爬虫主要目的就是爬取当日中国天气网的即时气候数据。我位于苏州所以爬取的是苏州7月19号的天气。首先，使用的是beautifulsoup和xpath解析库，因为是纯练习性质，所以分别解析了两趟，最后把数据写入txt文档中。打开浏览器，键入http://www.weather.com.cn/weather/101190401.shtml进入中国天气网，鼠标右键保存网页。命名为1.html...

这是我以前的一篇博文：数学建模用/Python爬虫实战——爬取Kelley Blue Book（KBB二手车交易网站）的交易信息这是我在去年数学建模校赛时候写的一个爬虫，用来获得数据分析需要的数据信息。这一次不同与上一次，上一次使用的beautifulsoup和正则匹配来获取数据，这一次使用的是css和xpath选择器，且是基于scrapy框架的。这是爬取的要求： 这一次实现了翻页功能，代码如下所示：items.py:...