Python爬虫---scrapy的post请求

爬虫文件：

import scrapy


class TestpostSpider(scrapy.Spider):
    name = "testpost"
    allowed_domains = ["fanyi.baidu.com"]

    # post 请求如果没有参数，那么这个请求将没有任何意义，所以start_urls也没有用了，parse也没有用了
    # start_urls = ["http://fanyi.baidu.com/"]   # get请求

    # def parse(self, response):
    #     pass

    # post请求使用start_requests
    def start_requests(self):
        url = "http://fanyi.baidu.com/sug"
        data = {
            "kw": "final"
        }

        # post请求使用FormRequest
        yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_second)

    def parse_second(self, response):
        content = response.text
        print(content)