scrapy爬虫入门,问题总结(持续更新)

本文介绍了如何使用Scrapy框架处理静态和动态网页数据,通过正则表达式、XPath和CSS选择器提取信息,并结合Selenium解决JavaScript渲染问题。同时涵盖项目管理、爬虫创建和运行关键步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

只是为了记录自己使用中遇到的一些问题,方便查找。
1.创建项目:
    scrapy startproject ****(项目名)
2.创建爬虫:
    scrapy genspider 爬虫名 网站域名
    注意:
        1、爬虫名不要与项目名重合
        2、域名要准确,是允许爬的域
3.分析网站:
    提取数据:
        1、正则表达式
        2、xpath
        3、css
4.运行爬虫:
    scrapy crawl 爬虫名
    scrapy.Request(next_url,callback=self.parse) #生成器
    Request()发出请求,类似requsets.get()
    callback是将发出去的请求得到的相应还交给自己处理
    注意:毁掉函数不要括号,只需函数名

5.selenium使用:主要是解决javascript渲染的问题
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值