【爬虫】使用 Python Scrapy 爬取静态网页中所有文字

最新推荐文章于 2025-07-08 22:32:29 发布

原创

最新推荐文章于 2025-07-08 22:32:29 发布 · 6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#Scrapy #Python #爬虫

本文介绍了如何使用Python的Scrapy框架创建爬虫项目，编写第一个Spider来抓取静态网页上的所有文字。文章详细讲解了启动项目、运行Spider、使用XPath解析数据并保存到文件的过程。同时，注意到对于动态加载内容的网页，常规方法可能无法获取完整信息，作者提供了相关资源以解决此类问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Creating a project

Before you start scraping, you will have to set up a new Scrapy project. Enter a directory where you’d like to store your code and run:

scrapy startproject URLCrawler

Our first Spider

This is the code for our first Spider. Save it in a file named my_spider.py under the URLCrawler/spiders directory in your project:

import scrapy
 
class MySpider(scrapy.Spider):
    name = "my_spider"
 
    def start_requests(self):
        urls = [
            'http://www.4g.haval.com.cn/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)
 
    def parse(self, response):
        domain = response.url.split("/")[-2]
        filename = '%s.html' %domain
        #写文件调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件
        with open(filename, 'wb') as f:
            f.wri