m0_53427580的博客

原创 数据抓取与清洗——链家二手房信息及户型图的爬取

1.导入所需要的包 import requests import re from bs4 import BeautifulSoup import time from lxml import etree import pandas as pd 2.查看一下robots协议 res = requests.get("https://bj.lianjia.com/ershoufang/robots.txt") print(res.text) 3.选择城市和要爬取的页数 可以看到url的格式是: .