爬虫301,302问题

xpath语法写的没有问题，但是缺获取不到任何内容，原因是重定向问题。
allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’]拿到重定向的URL。
使用scrapy模块进行爬虫的时候遇到301很302问题。
例如：房天下二手房每次刷新都是不同的页面内容。