爬取上海链家二手房数据信息并使用mysql进行保存

需求：

爬取的网址是：上海二手房房源_上海二手房出售|买卖|交易信息(上海链家)

爬取的内容是：标题，房屋位置，房屋信息，价格（总价，真实价格），房屋标签

 

使用到的库：pymysql（作为数据存储方式），request(发送请求)，BeautifulSoup(用于网页解析)

思路：

打开所要爬取的网页，进入网页源代码模式，按照自己的需求找到爬取的数据内容所在位置，接下来使用解析库对网页进行解析，得到所需要的数据内容。得到数据之后使用mysql作为数据存储方式将得到的数据进行保存，最后进行查看验证。

具体步骤：

1首先进入所要爬取的网址，打开该网页的源代码（F12或者鼠标右击单击检查），观察所要爬取的数据内容的代码特征

 2..按照代码特征，在源代码中检索到需要爬取的数据内容；

3.将得到的数据使用mysql进行保存处理，保存时设置一些提示信息

4.最后运行程序，爬取数据

5.进入mysql进行查看，看数据是否已经保存成功

具体操作：

首先使用python的第三方库request按照网址获取该网页的所有信息，确保后面对代码进行检索的时候，不是空数据

 

确定有数据之后，按照数据特征对数据进行提取