用BeautifulSoup,urllib,requests写twitter爬虫(1)

最新推荐文章于 2025-04-30 13:35:09 发布

Iam-xyZ

最新推荐文章于 2025-04-30 13:35:09 发布

阅读量3.6k

点赞数

分类专栏： Python 文章标签： twitter BeautifulSoup

本文链接：https://blog.youkuaiyun.com/Xiaoyi_Zhang/article/details/51678252

版权

本文介绍了一种使用BeautifulSoup和urllib库抓取Twitter数据的方法，通过示例代码展示如何获取用户的推文及推文内容，包括处理编码问题和数据整合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在github上找到了一个twitter的爬虫，试了下，修改了其中一个有关编码的问题，可以抓取一定数量的twitter

https://gist.github.com/TVFlash/cccc2808cdd9a04db1ce

代码如下

from bs4 import BeautifulSoup, NavigableString
from urllib2 import urlopen

#Note: must be a public profile
print "Twitter username:"
user = raw_input()

endpoint = "https://twitter.com/%s"

f = urlopen(endpoint % user)
html = f.read()
f.close()

soup = BeautifulSoup(html, 'html.parser')

tweets = soup.find_all('strong', {'class': 'fullname js-action-profile-name show-popup-with-id'})

for i in range(0,len(tweets)):
    user = tweets[i].contents[0]

    action_tag = soup('span', {'class': 'username js-action-profile-name'})
    show_name = action_tag[i].content