详细介绍分页抓取链家房源信息 xpath selenium 复制代码可用

最新推荐文章于 2025-11-29 11:28:25 发布

原创最新推荐文章于 2025-11-29 11:28:25 发布 · 置顶 · 158 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #python #xpath

python 爬虫同时被 2 个专栏收录

2 篇文章

订阅专栏

python

1 篇文章

订阅专栏

该博客展示了如何利用Python的selenium库自动化滚动网页并抓取链家网站上多个页面的房产项目信息，包括楼盘名称、位置和价格等关键数据，并将这些信息保存到文件中。

import time
from selenium import webdriver

for num in range(1,11):

url = 'https://cq.fang.lianjia.com/loupan/nhs'+str(num)+'/'


print(url)

driver=webdriver.Chrome()
driver.get(url)
js='scrollTo(0,500)'
driver.execute_script(js)

lists=driver.find_elements_by_xpath('//div[@class="resblock-desc-wrapper"]')

fp=open('./链家.txt',"a",encoding="utf-8")
for list1 in lists:
    temp={}
    temp["title"]=list1.find_element_by_xpath('./div[@class="resblock-name"]/a').text

    temp['location'] = list1.find_element_by_xpath('./div[@class="resblock-location"]/span').text

    temp['price']=list1.find_element_by_xpath('./div[@class="resblock-price"]//span').text
    print(temp)
    fp.write(str(temp)+"\n")
driver.close()