爬虫content-type

最新推荐文章于 2025-06-17 23:05:48 发布

YOYO__2018

最新推荐文章于 2025-06-17 23:05:48 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/wu0che28/article/details/82788816

本文介绍了一个使用Python进行Twitter数据抓取的爬虫实例，详细展示了如何设置请求头、使用代理、解析HTML并提取用户信息的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

		self.headers['referer'] = self.url_target
		# 设置content-type,可以获取数据,默认没有数据
        self.headers['content-type']="text/javascript; charset=utf-8"
        
        response = self.s.get(self.url_target + "/lists", proxies=self.proxies, headers=self.headers,
                              cookies=self.cookies_dict)
        # res_dict=json.loads(response.text)
        # html=res_dict['page']
        # print html
        res=etree.HTML(response.text)

        lists=res.xpath('//div[@class="GridTimeline-items has-items"]/div')
        list_=[]
        for l in lists:
            item={}
            item['name']=l.xpath('./div/div/a[1]/text()')[0].strip()
            item['url']="https://twitter.com"+l.xpath('./div/div/a[1]/@href')[0]
            item['builder']=l.xpath('./div/div/span/a/text()')[0].strip()
            item['members']=l.xpath('./div/div/div/p//text()')[0].strip()
            list_.append(item)
        print list_