爬取安居客的信息，并保存到csv文件中。

最新推荐文章于 2025-06-12 09:28:10 发布

原创

最新推荐文章于 2025-06-12 09:28:10 发布 · 2.2k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

本文介绍如何避免使用XPath爬取安居客网站数据，以防止被封，同时指导将爬取的数据存储为CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里说明下不要用xpath进行爬取，因为会被封。

# 引入包
import requests
from bs4 import BeautifulSoup
import time
import csv

# 定制请求头	换成自己的请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0',
}
# 输出查询信息
chaxun = input('请输入要查询的城市:')

# 将要访问的网址
link = 'https://'+chaxun+'.anjuke.com/sale/'

# 访问该网站
r = requests.get(link, headers=headers, timeout=100)

# 使用BeautifulSoup提取html中的内容
soup = BeautifulSoup(r.text, 'lxml')
house_list = soup.find_all('li', class_="list-item")

# 将爬取的内容写入 test.csv中，编码格式为 'UTF-8'
with open('test.csv', 'a', encoding='UTF-8', newline='') as csvfile:
    w = csv.writer(csvfile)

    for house in house_list:
        temp = []

        name = house.find('div', class_="house-title").a.text.strip()
        price = house.find('span', class_='price-det').text.strip()
        price_area = house.find('span', class_='unit-price').text.strip()
        no_room = house.find('div', class_='details-item').s