Search Tweets

最新推荐文章于 2024-09-07 13:07:08 发布

原创

最新推荐文章于 2024-09-07 13:07:08 发布 · 1.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#推特爬虫 #Search Tweets

本文介绍了如何使用Twitter的搜索API，特别是标准API，来获取数据。通过设置不同的参数如q、max_id和since_id，实现按关键词、地理位置等条件抓取推文，并提供Python代码示例将数据存储到MySQL和PostgreSQL数据库。同时，文章提到了Standard API的限制与优势，以及如何通过Premium search API获取更广泛的数据。

前言

利用Twitter提供的search APIs获取数据（根据搜索关键词、经纬度、时间等）。目前Twitter官方提供的API有三种：Enterprise search APIs、Premium search API、Standard search API，普通用户一般使用标准API（我申请了Premium search API，不过没通过），它们的申请方式及区别请参考官网。

代码

申请key和secret及访问twitter可参考我上篇博客

import tweepy  

#填写twitter提供的开发Key和secret  
consumer_key = '#'  
consumer_secret = '#'  
access_token = '#'  
access_token_secret = '#'  

#提交你的Key和secret  
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)  
auth.set_access_token(access_token, access_token_secret)  

#获取类似于内容句柄的东西  
api = tweepy.API(auth,proxy="127.0.0.1:1080")  
index = 1014149304498483201 #第一次获取数据中的id
for tweet in api.search(q="-Liuwei",lang="English",max_id=index-1,count=10):
    print(tweet)

search参数详情请参考twitter官方文档，q参数是搜索内容（这里-Liuwei代表搜索去除Liuwei关键字）。比如我想随机获取美国的推文（没有搜索关键词），提供的操作符也没有该功能，查看twitter高级搜索发现url中-代表去除这个单词。每次请求会返回count数量（标准api一次最多返回100）的数据，实际应用中需要连续