微博爬虫
关注
分享
扫一扫
文章平均质量分 67
我曾记得曾经
决战2018
展开
-
备忘5：爬取微博热门信息以及所有热门微博评论的用户信息
import requestsimport osimport reimport csvimport timeimport json#headers是请求加上头信息，伪装成浏览器访问，不然会被限制headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, lik...原创 2018-04-05 17:02:58 · 898 阅读 · 0 评论 -
备忘4：爬取微博热门信息以及所有热门微博转发的用户信息
import requestsimport osimport reimport csvimport timeimport json#headers是请求加上头信息，伪装成浏览器访问，不然会被限制headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like...原创 2018-04-05 16:57:52 · 1410 阅读 · 0 评论 -
备忘3：爬取博主热门信息以及所有热门微博的点赞的用户信息
import requestsimport osimport reimport csvimport timeimport json#headers是请求加上头信息，伪装成浏览器访问，不然会被限制headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, lik...原创 2018-04-05 16:57:05 · 1047 阅读 · 2 评论 -
备忘2：爬取某个博主的微博信息
#!/usr/bin/env python# -*- coding: UTF-8 -*-import osimport reimport requestsimport sysimport tracebackfrom datetime import datetimefrom datetime import timedeltafrom lxml import etree#impo...原创 2018-04-03 13:57:04 · 3945 阅读 · 3 评论 -
备忘1：爬取热门微博评论
'''python3''''''2018/04/03'''import requestsimport osimport reimport csvimport timeimport json#headers是请求加上头信息，伪装成浏览器访问，不然会被限制headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) Appl...原创 2018-04-03 13:44:51 · 498 阅读 · 0 评论 -
微博verified_type各类数字的含义
verified_type的字段：-1普通用户;0名人,1政府,2企业,3媒体,4校园,5网站,6应用,7团体（机构）,8待审企业,200初级达人,220中高级达人,400已故V用户。-1为普通用户，200和220为达人用户，0为黄V用户，其它即为蓝V用户...原创 2018-03-29 12:59:12 · 4537 阅读 · 2 评论 -
headers的设置和一些高级特性
一、设置headers#headers是请求加上头信息，伪装成浏览器访问，不然会被限制[python] view plain copyurl = "http://www.server.com/login" # 设置请求的身份，如果没有，服务器可能会没有响应 user_agent = "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)" values...转载 2018-04-02 15:23:04 · 2311 阅读 · 0 评论 -
爬取热门微博数据2018.3.27更新
import requestsimport osimport reimport csvimport timeimport jsonheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safar...原创 2018-03-27 21:12:27 · 1007 阅读 · 0 评论