使用Python抓取我爱我家二手房数据

安奇999

于 2017-07-16 10:11:14 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python爬虫文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/jianai858/article/details/75195956

爬取我爱我家二手房信息

import requests
from bs4 import BeautifulSoup
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"
headers={
  
  "User-Agent":user_agent}  #请求头,headers是一个字典类型
url="http://ty.5i5j.com/exchange/n{}" #太原
apartments=[]
for i in range(1,500):
    res= requests.get(url.format(i),headers=headers)
    res.encoding="utf-8" #设置编码，防止乱码
    soup=BeautifulSou