python爬取微博话题下面的帖子并存入excel文件

最新推荐文章于 2025-01-30 17:14:01 发布

喜欢Haibara

最新推荐文章于 2025-01-30 17:14:01 发布

阅读量5k

点赞数 8

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/kr2563/article/details/84581386

此次写的是python爬取微博话题下面的帖子，示例代码以爬取#转发这个杨超越#

https://s.weibo.com/weibo/%23%E8%BD%AC%E5%8F%91%E8%BF%99%E4%B8%AA%E6%9D%A8%E8%B6%85%E8%B6%8A%23

# -*- coding:utf-8 -*-
__author__ = 'TengYu'
import requests
import json
import re
import time
import xlwt
from bs4 import  BeautifulSoup



headers = {
    'User-agent' : 'Your-Agent',
    'Cookie':'Your-cookie'
}


url = 'https://m.weibo.cn/api/container/getIndex?containerid=231522type%3D1%26q%3D%23%E8%BD%AC%E5%8F%91%E8%BF%99%E4%B8%AA%E6%9D%A8%E8%B6%85%E8%B6%8A%23&page_type=searchall&page='




class Tool:
    deleteImg = re.compile('<img.*?>')
    newLine =re.compile('<tr>|<div>|</tr>|</div>')
    deleteAite = re.compile('//.*?:')
    deleteAddr = re.compile('<a.*?>.*?</a>')
    deleteTag = re.compile('<.*?>')