python的request返回400_python - scrapy.Request请求地址返回400,但是用单独request模块请求同样的url返回正常...

在使用Scrapy的Request方法请求URL时遇到400错误,但通过Python的requests模块发送相同请求则得到正常响应。检查了IP未被封锁,且浏览器可以直接访问。问题可能在于Scrapy Request的设置。已展示Scrapy Spider代码,以及错误反馈。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一 问题描述

用scrapy.Request()方法请求一个url地址,发现返回400错误,我检查了我不是被封ip,把请求链接直接copy到浏览器上,是可以正常显示结果的,单独用python的requests模块post请求同样的url地址,获得的是正常的返回,我就不明白了,是我scrapy.Request的里面格式错误了?

二 代码展示

scrapy的 spider文件,scrapy项目是用scrapy的命令行执行出来的,常规设置,其他不变

# -*- coding: utf-8 -*-

import scrapy

class PileSpider(scrapy.Spider):

name = "pile"

allowed_domains = ["www.evehicle.cn"]

headers = {

'Accept': 'application/json, text/javascript, */*; q=0.01',

'Accept-Encoding': 'gzip, deflate',

'Accept-Language': 'zh-CN,zh;q=0.8',

'Connection': 'keep-alive',

'Content-Length': '11',

'Content-Type': 'application/x-www-form-urlencoded; charset=UT

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值