【Scrapy爬取实例】- 爬取链家网指定城市二手房源信息

一、网站分析
  • 链接分析
    • 城市链接
      北京:https://bj.lianjia.com/ershoufang/
      成都:https://cd.lianjia.com/ershoufang/
      四川:https://sc.lianjia.com/ershoufang/

      可见,不同城市,将标红处改为城市的首字母小写即可。
    • 页面链接
      第一页:https://cd.lianjia.com/ershoufang/pg1
      第二页:https://cd.lianjia.com/ershoufang/pg2
      第三页:https://cd.lianjia.com/ershoufang/pg3

      可见,将标红处依次递增即可。
  • 数据加载方式
    链家的比较简单,网页源码里都有
    数据加载方式
  • 目标信息
    目标信息
    本次抓取目标为上图红框中的关键文字信息。
二、抓取思路

因为信息都在网页源码中,页面链接的生成规律也很简单,所以解决如何生成指定城市的链接即可。
由上述分析可知,城市链接只要将城市名称,如 重庆转为首字母小写 cq,再填入对应位置即可。
其他:

  • 设置请求头、免费代理ip实时切换,处理请求异常
  • 抓取到的信息存入mongodb
三、关键代码
  • item
import scrapy
class ErshoufangItem(scrapy.Item):
    # define the fields for your item here like: 
    title = scrapy.Field() #房屋title
    address = scrapy.Field() #地址
    city = scrapy.Field()#所在城市
    info = scrapy.Field()#具体信息
    totalPrice = scrapy.Field()#总价
    unitPrice = scrapy.Field()#单价
  • spider
import scrapy
from xpinyin import Pinyin #汉字转拼音的库

from ershoufang.items import ErshoufangItem

pinyin = Pinyin()
CRAWL_PAGE = 10 #爬取页数

class LianjiaSpider(scrapy.Spider):
    name = 'lianjia'
    def __init__(sel
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值