该博客介绍了如何使用Python爬虫技术，结合requests和BeautifulSoup库，爬取链家网上的二手房信息并存储到SQLite数据库。通过分析网页结构，提取数据包括房源编号、标题、地址、价格等，并对数据进行处理，实现数据清洗和存储。此外，还讨论了如何处理数据缺失的情况，并展示了查询和过滤房价在特定范围内的房源数据的方法。
import requests
from bs4 import BeautifulSoup
import sqlite3
conn = sqlite3.connect("test.db")
c = conn.cursor()
for num in range(1,101):
url = "https://cs.lianjia.com/ershoufang/pg%s/"%num
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/64.0.3282.140 Safari/537.36',
}
req = requests.session()
response = req.get(url, headers=headers, verify=False)
info = response.text
f1 = BeautifulSoup(info,'lxml')
f2 = f1.find(class_='sellListContent')
f3 = f2.find_all(class_='clear LOGCLICKDATA')
for i in f3:
data_id = i.find(class_="noresultRecommend").get('data-housecode')
href = i.find( class_ =
最低0.47元/天 解锁文章
扫一扫
574
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
