python爬虫 爬取今日头条信息

本文介绍了使用Python3.6.5进行爬虫操作,具体目标是从今日头条搜索页面抓取指定关键字的搜索结果中的图片及对应标题。通过手动设置搜索关键字和爬取页数,获取网页URL,接着进行内容爬取并保存数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

""""

进入头条首页,在右边输入关键字,进入搜索页面,主要爬取搜索的到的图片以及图片的标题

""""

""""

python版本:python3.6.5

""""

#手动输入搜索关键字和要爬取的页数,默认从第一页开始爬取

end_page = int(input('请输入结束页面:'))
keyword = input('请输入查找关键字:')

#获取网页url

def get_url(): 
    url = 'https://www.toutiao.com/search_content/?'
    # 定义url的参数
    params = {
        'offset': '1',
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': '20',
        'cur_tab': '1',
        'from': 'search_tab'
    }
    #定义请求头
    headers = {
        'referer': 'https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D',
        'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/63.0.3239.132 Safari/537.36',
        'x-requested-with': 'XMLHttpRequest'
    }
    try:
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值