python url中文传参乱码问题

原创已于 2022-04-17 10:18:19 修改 · 1.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #网络爬虫

于 2022-04-15 16:40:49 首次发布

python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了在使用Scrapy爬虫时遇到的URL中文乱码问题，以及如何通过设置编码解决。同时讲解了如何正确进行带参数的POST请求，重点在于理解编码转换和Scrapy的start_requests方法。参考了相关博客，提供了查看网页编码格式的方法，并给出了Python代码示例。

背景

想要在这个网站搜鱼一点通指定keyword搜索（如图

发现url里输入中文会变成乱码

解决过程

使用urllib.parse.quote直接转码，发现跳转后会链接会自动变成中文

    start_urls = ['http://www.bbwfish.com/soresult.asp?keyword={}&stype=5']

    def parse(self, response):
        keyword = "鱼"
        url = self.start_urls[0].format(urllib.parse.quote(keyword))
        print(url)

#结果输出
#http://www.bbwfish.com/soresult.asp?keyword=%E9%B1%BC&stype=5

打开链接后：

又跳转成中文了

解决

先查看了网页转码格式

修改代码后成功

    start_urls = ['http://www.bbwfish.com/soresult.asp?keyword={}&stype=5']

    def parse(self, response):
        keyword = "鱼"
        url = self.start_urls[0].format(urllib.parse.quote(keyword.encode('gbk')))
        print(url)