链家（beautifulsoup）

最新推荐文章于 2021-12-13 13:18:08 发布

cheng535

最新推荐文章于 2021-12-13 13:18:08 发布

阅读量413

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/cheng535/article/details/81988025

python 专栏收录该内容

14 篇文章

订阅专栏

本文展示了一个使用Python的requests库和BeautifulSoup库抓取链家网站地铁沿线租房信息的爬虫实例。爬虫通过循环请求不同页面，解析HTML获取房源标题、位置、楼层、标签、价格及更新时间等详细信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup

for i in range(1,6):
    url = 'https://bj.lianjia.com/ditiezufang/rp%s/'%(i)

    response = requests.get(url)

    # with open('lianjia.html','wb') as f:
    #     f.write(response.content)

    # html = response.text
    # print(html)

    soup = BeautifulSoup(response.text, 'lxml')
    ul_tag = soup.find('ul', id="house-lst")
    # print(ul_tag)

    li_tags = ul_tag.find_all('li')
    # print(li_tags)

    for li_tag in li_tags:
        # print(li_tag)
        title = li_tag.select('div.info-panel > h2 > a')[0].text
        print(title)
        info = li_tag.select('div.where')[0].text
        print(info)
        info_lou = li_tag.select('div.con')[0].text
        print(info_lou)
        tags = li_tag.select('div.view-label')[0].text
        print(tags)
        price = li_tag.select('div.price')[0].text
        print(price)
        update_time = li_tag.select('div.price-pre')[0].text
        print(update_time)
        # page_num = li_tag.select('div.list-wrap > div > a:nth-child')[0].text
        # print(page_num)
        print('-'*50)
        # body > div.wrapper > div.main - box.clear > div > div.list - wrap > div > a: nth - child(5)