网络爬虫之爬虫原理

PyCrawlFlutter Lab

已于 2024-04-25 16:46:07 修改

阅读量2k

点赞数 25

CC 4.0 BY-SA版权

分类专栏：网络爬虫基础文章标签：爬虫 python

于 2024-04-25 16:30:00 首次发布

本文链接：https://blog.youkuaiyun.com/Uncle_wangcode/article/details/138174934

本文介绍了如何使用Python编写网络爬虫，通过requests库发送HTTP请求获取房价数据，利用BeautifulSoup和lxml解析HTML，提取各城市房价涨跌top10，并将数据保存到本地文件。同时强调了遵守爬虫规则和反反爬虫技术的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫概述

Python网络爬虫是利用Python编程语言编写的程序，通过互联网爬取特定网站的信息，并将其保存到本地计算机或数据库中。

"""
批量爬取各城市房价走势涨幅top10和跌幅top10
"""

from lxml import etree
import requests


HEADERS = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"}
INDEX = "https://bj.fangjia.com/zoushi"


def process_index(url):
    """
    首页处理
    @param url: url
    @return: 返回首页源代码
    """
    res = requests.request("GET", url=url, headers=HEADERS)
    res.encoding = "utf-8"
    return res.text


def process_city(html):
    """
    各城市首页url获取
    @param html: 源代码
    @return: 返回各城市名和url
    """
    parse = etree.HTML(html)
    text = parse.xpath('//div[@class="tab_content"]/div')
    city_name = []
    city_url = []
    for i in text:
        city_name.extend(i.xpath("./a/text()"))
        city_url.extend(i.xpath("./a/@href"))
    city_info = dict(zip(city_

最低0.47元/天解锁文章