requests爬取小猪租房--记录

本文记录了使用Python的requests库爬取小猪租房网站数据的过程,包括发送HTTP请求、解析HTML以及遇到的反爬策略和解决办法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

#!/usr/bin/env python
#-*- coding:utf-8 -*-

import requests,time
from bs4 import BeautifulSoup

headers = {
    "User-Agent":'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10'
}

class zfBase(object):
    '''基础设置'''
    def __init__(self,url=None):
        self.url = url
        self.run()

    def __url(self):
        global headers
        if self.url:
            html = requests.get(self.url,headers=headers)
            soup = BeautifulSoup(html.text,'lxml')
            return soup
        else:
            return '网址有误.'
    def run(self):
        return self.__url()

def getTagUrl(html):
    '''判断有多少待采集页面'''
    pageNums = html.select('#page_list > div.pagination_v2.pb0_vou > a')[-2].string
    return int(pageNums)

def zfSpider(listUrl):
    '''爬取详情页内容'''
    if isinstance(listUrl,list):
        for url in listUrl:
            html = zfBase(url).run()
            time.sleep(2)
            titles = html.select('div.pho_info > h4 > em')[0].string
            address = html.select('div.pho_info > p')[0]['title']
            money = html.select('div.day_l > span')[0].string
            onepic = html.select('img#curBigImage')[0]['src']
            peoplepic = html.select('div.member_pic > a > img')[0]['src']
            sex = html.select('div.member_pic > div')[0]['class']
            if 'member_ico' in sex:
                sex = '男'
            else:
                sex = '女'
            with open('xiaozhu.txt','a') as fp:
                fp.write(titles + '\t' + address + '\t' + money + '\t'
                         + sex  +'\t' + onepic + '\t' + peoplepic + '\n')
    else:
        print('URL错误')

def run(url):
    '''整体运行'''
    z = zfBase(url % 1)
    for num in range(1,getTagUrl(z.run()) + 1):
        z = zfBase(url % num).run()
        pageUrls = [pageUrl['href'] for pageUrl in z.select('a.resule_img_a')]
        time.sleep(2)
        zfSpider(pageUrls)

if __name__ == '__main__':
    run('http://bj.xiaozhu.com/search-duanzufang-p%s-0/?startDate=2018-01-01&endDate=2018-01-02')
<think>好的,用户的问题是关于如何使用Pythonrequests库来爬取应用代码,特别是应用程序的代码。首先,我需要回顾一下requests库的基本用法,以及常见的网页爬取步骤。用户可能已经有了一些基础,但可能需要具体的示例和指导。 根据用户提供的引用内容,特别是引用[1]、[3]和[4],可以看到他们之前接触过使用requests和BeautifulSoup来爬取网页内容,比如视频链接或百度源码。现在用户想将这些方法应用到爬取应用程序的代码上,可能是指从网站或代码托管平台(如GitHub)获取源代码。 首先,我需要明确用户所说的“应用程序的代码”具体指什么。通常,这可能涉及从公开的代码仓库、文档网站或特定的API获取代码片段或完整的项目代码。需要提醒用户注意法律和道德规范,确保爬取的目标网站允许此类操作,遵守robots.txt和网站的使用条款。 接下来,步骤应该是:发送HTTP请求获取页面内容,解析HTML提取所需链接或代码块,然后保存或处理这些数据。引用[3]中的示例展示了如何发送请求和解析内容,这可能是一个起点。但用户需要的是更具体的应用代码爬取,可能需要处理不同的页面结构或API端点。 此外,用户可能需要处理认证、分页或动态加载的内容。如果目标网站使用JavaScript动态加载代码,可能需要使用Selenium等其他工具,但用户明确要求使用requests库,所以需要确认目标是否是静态页面。 可能需要举例说明如何爬取GitHub上的代码文件。例如,找到代码文件的原始链接,直接通过requests获取内容。同时,需要注意设置请求头,比如User-Agent,避免被网站屏蔽。 最后,生成相关问题,帮助用户深入理解,比如处理认证、解析复杂结构或存储数据。同时,确保回答中引用了提供的参考资料,比如引用[1]和[3]中的安装和基本步骤。</think>### 如何使用 Python requests爬取应用代码 以下是使用 `requests` 库爬取应用程序代码的步骤和示例: --- #### **1. 安装依赖库** 确保已安装 `requests` 和 `BeautifulSoup`: ```bash pip install requests beautifulsoup4 ``` --- #### **2. 发送 HTTP 请求获取页面** 通过 `requests.get()` 获取目标网页内容。若目标页面是代码托管平台(如 GitHub),需注意遵守其 robots.txt 规则[^1]。 ```python import requests url = "https://github.com/用户名/仓库名/blob/main/文件名.py" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url, headers=headers) if response.status_code == 200: html_content = response.text else: print("请求失败,状态码:", response.status_code) ``` --- #### **3. 解析 HTML 提取代码内容** 使用 `BeautifulSoup` 解析页面,定位代码块。例如,GitHub 的代码通常位于 `<div class="Box-body">` 或 `<table class="highlight tab-size">` 中[^3]: ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, "html.parser") code_block = soup.find("table", class_="highlight tab-size") # GitHub 代码块选择器 if code_block: code = code_block.get_text() print(code) else: print("未找到代码块") ``` --- #### **4. 处理动态内容(可选)** 若代码通过 JavaScript 动态加载(如单页应用),需结合 `selenium` 模拟浏览器操作,但此方法超出 `requests` 的静态爬取范围。 --- #### **5. 保存代码文件** 将爬取的代码保存到本地: ```python with open("downloaded_code.py", "w", encoding="utf-8") as f: f.write(code) ``` --- #### **完整示例:爬取 GitHub 代码文件** ```python import requests from bs4 import BeautifulSoup def crawl_code(url): headers = {"User-Agent": "Mozilla/5.0"} response = requests.get(url, headers=headers) if response.status_code != 200: return None soup = BeautifulSoup(response.text, "html.parser") code_block = soup.find("table", class_="highlight") return code_block.get_text() if code_block else None # 示例:爬取 GitHub 上的 Python 文件 code_url = "https://github.com/requests/requests/blob/main/requests/api.py" code_content = crawl_code(code_url) if code_content: with open("api_code.py", "w", encoding="utf-8") as f: f.write(code_content) print("代码保存成功!") else: print("爬取失败") ``` --- #### **注意事项** 1. **遵守网站规则**:检查目标网站的 `robots.txt`(如 `https://网站域名/robots.txt`),避免高频请求[^1]。 2. **处理反爬机制**:部分网站可能要求验证 Cookie 或添加特定请求头。 3. **代码仓库的 API**:GitHub 等平台提供官方 API(如 `https://api.github.com/repos/用户名/仓库名/contents/文件路径`),更适合批量获取代码[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值