Scrapy 如何传递 get请求的params

最新推荐文章于 2024-07-17 15:15:27 发布

原创最新推荐文章于 2024-07-17 15:15:27 发布 · 1.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy

本文介绍在Scrapy框架中如何传递参数到指定URL。通过使用`urllib.parse.urlencode`将字典类型的参数转化为URL参数字符串，并拼接到目标URL上实现请求参数的传递。

我们都知道在requests中可以使用 requests.get(url,params)的方式传值

那么在scrapy中如何传值呢
直接看代码

from urllib.parse import urlencode
params = {
    'wbtreeid': '5571',
    'searchtext': '',
    'wsbslistCURURI': 'ED1C87781DBB6EE748D288AAF4957433',
    'wsbslistKEYTYPES': '4,4,4,12,12,93',
    'actiontype': '',
    'wsbslistORDER': 'desc',
    'wsbslistORDERKEY': 'wbdate',
    'wsbslistCountNo': '20',
    'wsbslistNOWPAGE': str(num),
    'wsbslistPAGE': '0',
    'wsbslistrowCount': '3545'
}
url = "https://zwfw.nx.gov.cn/jfpt/newslist_ycs.jsp?" + urlencode(params)