爬虫 - 中文传参引发的问题

最新推荐文章于 2025-05-30 21:01:33 发布
最新推荐文章于 2025-05-30 21:01:33 发布
阅读量719 收藏
点赞数
分类专栏： Python 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42134325/article/details/134467138
版权
文章讲述了在对某个接口进行POST请求时，使用中文作为参数遇到的问题，解决方法是添加headers并设置content-type为application/x-www-form-urlencoded;charset=UTF-8，参考了关于AJAX传递中文参数可能导致的页面错误案例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

场景

对某个接口进行 POST 请求, 其中一个参数 category = ‘中文’

res = requests.post('https://www.xxx.com', data={"category": "中文"})

始终无法获取到正确的响应内容

解决方法

添加 headers ,设置编码为 utf-8

res = requests.post('https://www.xxx.com', data={"category": "中文"}, headers={'content-type': 'application/x-www-form-urlencoded; charset=UTF-8'})

参考文章

链接: ajax传递中文参数页面错误

爬虫教程（ 5 ） --- Selenium 与 PhantomJS
墨鱼菜鸡
07-11 1541
1. Selenium 中式读法：【瑟林捏幕 】 Selenium( selenium 中文网：http://www.selenium.org.cn/ )是一个强大的网络数据采集工具，最初是为了网站自动化测试而开发的，被用来测试 Web 应用程序在不同的浏览器和操作系统上运行能力。 Selenium 不带浏览器，它需要与第三方浏览器结合在一起使用...
python爬虫学习笔记一（基本概念&urllib基础）
2301_79376014的博客
06-22 1905
解释1：通过程序，根据URL进行爬取网页，获取有用信息> 解释2：使用程序模拟浏览器，向服务器发送请求，获取相应信息。
2024最新版JavaScript逆向爬虫教程-------基础篇之JavaScript混淆原理
棒棒编程修炼场
05-02 2515
本文从原理的角度讲解JS是如何进行混淆的，混淆实际上就是把核心的js代码计算逻辑混淆掉从而增加阅读难度的一种方法，执行的效果是等同的，本文的内容是学好AST混淆和还原JS代码的基础，希望读者要引起重视。
JavaScript逆向爬虫教程-------基础篇之JavaScript混淆原理
zru_9602的博客
02-15 2176
的文件，之后在这个文件中设置断点，触发断点后，会停在这个文件中，但是，这时把某个函数转为字符串，取到的依然是格式化之前的代码。在算法逆向中，分析完算法，为了得到想要的结果，就需要实现这个算法，简单的算法一般可以直接调用现成的加密库，复杂的算法就会选择直接修改原文件，然后运行得到结果，把格式化后的代码保存成一个本地文件，这时某个函数转为字符串，取到的就是格式化后的结果了，是否触发格式化检测，关键是看原文件中是否有格式化，接着把。之前的示例代码中，在改变对象属性的访问方式后，产生了很多原本没有的字符串。
爬虫学习笔记（总）
weixin_53312629的博客
09-01 3774
本篇文章是对爬虫笔记系列文章的汇总，包含爬虫的介绍、request的使用、数据解析和验证码识别、异步爬虫、scrapy框架、增量式爬虫以及异步编程等内容。
自学Python第十四天- 一些有用的模块：urllib、requests 网络编程基础，向爬虫靠拢
runsong911的博客
06-24 261
自学Python第十四天- 一些有用的模块：urllib、requests 网络编程基础，向爬虫靠拢
python爬虫之scrapy
wjl31802的博客
09-16 7432
scrapy安装 在windows下，在dos中运行pip install Scrapy报错 采用pip安装，安装时可能会出现安装错误Microsoft Visual C++ 14.0 is required， 解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted  下载twisted对应版本的whl文件（如我的Twisted‑1...
前端面试问题答案汇总--基础版
aikok0033的博客
09-26 4679
转载于https://github.com/poetries/FE-Interview-Questions，bypoetries 第一部分：基础篇 一、HTML、HTTP、web综合问题 1 前端需要注意哪些SEO 合理的title、description、keywords：搜索对着三项的权重逐个减小，title值强调重点即可，重要关键词出现不要超过2次，而且要靠前，不同页...
Python爬虫中创建pipeline.py文件并传入数据,实现标题和url持久化
doudou_wsx的博客
10-03 850
1.爬取博客园中每条新闻的标题和url，在cnblog.py中写入操作内容 import scrapy import sys import io from..items import cnlogsItem from scrapy.selector import Selector sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding="ut...
Python爬虫requests模块学习笔记
AI算法联盟
02-06 357
一、语法requests.get(url,params=None,**kwargs) url:拟获取页面的url链接 params:url中的额外参数，字典或字节流格式，可选 **kwargs:12个控制访问的参数。 import requests r = requests.get("http://www.baidu.com") print(r.status_code) #结果放回是2...
红队专题-漏洞挖掘-代码审计-CSRF/SSRF/Xss
aming小老弟
03-11 1088
其中 Web A 为存在 CSRF 漏洞的网站，Web B 为攻击者构建的恶意网站，User C 为 Web A 网站的合法用户。用户 C 打开浏览器，访问受信任网站 A，输入用户名和密码请求登录网站A在用户信息通过验证后，网站 A 产生 Cookie 信息并返回给浏览器，此时用户登录网站 A 成功，可以正常发送请求到网站A用户未退出网站 A 之前，在同一浏览器中，打开一个 TAB 页访问网站 B网站 B 接收到用户请求后，返回一些攻击性代码，并发出一个请求要求访问第三方站点 A。
Python爬虫 - 爬取京东商城某页面
Peng的博客
06-25 3271
前言 在优快云问答中遇到这样一个需求：使用Selenium爬取京东商城某个页面中的商品价格信息，页面URL为：京东商城 页面分析 首先来到商城页面，打开F12，可以很清楚的找到目标 在控制台用xpath选中，正好是20个商品，没有任何问题，那么直接上代码 Selenium尝试 import time from selenium import webdriver driver = webdriver.Chrome() driver.get('https://mall.jd.com/view_searc
使用pyinstaller打包时引入自己编写的库
Peng的博客
08-04 3197
场景 使用pyinstaller打包某个文件后，生成的exe文件无法运行，提示 Module not found: myLib，myLib是我自己编写的一个库：封装了一些常用且重复的代码： from myLib.mysql import Mysql 解决方案 查找了一些资料后得到解决办法：在使用打包命令时使用额外参数 -p，参数值为myLib所在的路径。 pyinstaller xxx.py -F -p your path 个人的myLib路径：F:\projects\python\myLib，因此命令
Windows下Appium + Python控制安卓模拟器
Peng的博客
05-10 1480
纪录一下自己搭建环境的整个过程。 本机系统为Windows10，连接的安卓设备为夜神模拟器。 参考博客： 自动化测试 - Appium + Python史上最全最简环境搭建步骤 Appium+python自动化安装环境 环境搭建 所需软件总览 JDK，JAVA开发工具包 Android SDK，安卓开发工具包 Node.js Appium Python 其他：Python库Appium-python-Client、Python IDE、模拟器/真机 JDK安装 下载地址：oracle官网下载 根据自己的
Python协程学习--爬取一本网络小说
Peng的博客
10-18 949
协程爬取 最近在学习Python爬虫，同时在公司同事的引导下接触到协程，开始学习使用协程编写异步爬虫 Python协程系列学习参考：https://blog.youkuaiyun.com/qq_27825451/article/details/86218230 目标：爬取一本网络小说 主站url url = 'http://www.quanshuwang.com/book/9/9055' 爬取流程分析：...
Scrapy 爬虫笔记
Peng的博客
11-08 691
目录概述开始启动项目爬虫初始化处理响应回调函数的参数图片下载（未完待续）相关资源 概述 本文记录了个人使用 Scrapy 爬取某网站产品信息（包含图片下载）的整个过程，也可以作为一篇 Scrapy 实战教学博客。 首先从 All Products 页面出发，首先抓取所有分类页面的链接：如 https://www.example.com/category/category-name 再从每个产品分类页面抓取产品详情页面链接：如 https://www.example.com/product/product-n
爬虫--以爬取小说为例
最新发布
2404_89803017的博客
05-30 4594
干——————爬虫
爬虫时遇见传参太多怎么处理
07-22
当在爬虫过程中遇到传递太多参数的情况时，可以考虑以下几种处理方式： 1. 将参数封装为一个对象：将需要传递的多个参数封装到一个对象中，然后将该对象作为参数传递。这样可以减少函数或方法的参数数量，使代码更加清晰和可读。例如： ```javascript const options = { param1: value1, param2: value2, param3: value3, // 更多参数... }; myFunction(options); ``` 2. 使用默认参数：如果有一些参数在大部分情况下都有固定的默认值，可以将这些参数设置为默认参数。这样在调用函数时，如果没有传递对应的参数，函数将使用默认值。例如： ```javascript function myFunction(param1, param2 = defaultValue2, param3 = defaultValue3) { // 函数体 } ``` 3. 使用对象解构赋值：如果传递的参数是一个对象，可以使用对象解构赋值来提取需要的参数。这样可以避免在函数调用时传递大量的参数。例如： ```javascript function myFunction({ param1, param2, param3 }) { // 函数体 } const options = { param1: value1, param2: value2, param3: value3, // 更多参数... }; myFunction(options); ``` 4. 使用配置文件或环境变量：如果传递的参数过多，并且这些参数在不同情况下需要不同的取值，可以考虑将这些参数存储在配置文件或环境变量中。在爬虫代码中读取这些配置值，以避免传递大量参数。 以上是一些常见的处理方式，你可以根据实际情况选择适合的方法来处理传递过多的参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值