python爬虫爬取今日头条信息

最新推荐文章于 2021-02-04 05:43:44 发布

原创

最新推荐文章于 2021-02-04 05:43:44 发布 · 5.5k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文介绍了使用Python3.6.5进行爬虫操作，具体目标是从今日头条搜索页面抓取指定关键字的搜索结果中的图片及对应标题。通过手动设置搜索关键字和爬取页数，获取网页URL，接着进行内容爬取并保存数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

""""

进入头条首页，在右边输入关键字，进入搜索页面，主要爬取搜索的到的图片以及图片的标题

""""

python版本：python3.6.5

""""

#手动输入搜索关键字和要爬取的页数，默认从第一页开始爬取

end_page = int(input('请输入结束页面：'))
keyword = input('请输入查找关键字：')

#获取网页url

def get_url(): 
    url = 'https://www.toutiao.com/search_content/?'
    # 定义url的参数
    params = {
        'offset': '1',
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': '20',
        'cur_tab': '1',
        'from': 'search_tab'
    }
    #定义请求头
    headers = {
        'referer': 'https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D',
        'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/63.0.3239.132 Safari/537.36',
        'x-requested-with': 'XMLHttpRequest'
    }
    try: