Scrapy爬虫Xpath编写规则梳理

进入浏览器的开发者模式（F12），选取需要获取的节点，如果我们想获取一个列表，例如：

在li节点上右键，copy->copy xpath即可获取当前节点的Xpath路径，
直接复制如下：

    /html/body/div[4]/div[1]/ul/li[1]

这个不能直接使用，这个是获取了li节点第一个元素，爬虫里我们需要获取一个集合，用来for循环，所以在爬虫开头里需要修改为：

        /html/body/div[4]/div[1]/ul/li

代码示例：

            #-----关键代码------
            def parse(self, response):
                for item in response.xpath('/html/body/div[4]/div[1]/ul/li'):

                movImgUrl = item.xpath('a/img/@src').extract_first() #海报地址
                detailPageUrl = item.xpath("a/@href").extract_first()#详情页地址

可见，如果需要获取 a标签里的图片地址，规则是:

     "a/img/@src"

获取a标签里URL规则是：

    "a/@href"

获取a括号中的文本，规则是：

    "a/text()"

后面的.extract_first()提取第一