Python 爬取今日头条街拍照片 requests+BeautifulSoup+MongoDB

本文介绍了一种使用Ajax请求抓取今日头条街拍图片数据的方法,详细解析了从索引页到详情页的内容抓取流程,包括利用Requests、BeautifulSoup和正则表达式进行数据解析,以及如何使用多线程提升抓取效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

使用ajax请求抓取今日头条街拍照片的数据。

  • 目标站点分析
  • 用浏览器打开今日头条输入‘街拍’,打开审查元素,点击‘图集’

1.首先我们要找到我们想要的街拍数据,这个一般是通过Ajax加载的,我们点击XHR选项,可以发现XHR项目里面的返回结果有我们想要的数据,当网页下拉时,会出现新的Ajax请求,主要是参数offset变化,其他请求参数不变,即通过改变offset的值就可以拿到不同的数据
2.分析每一个页面的街拍美图,在Doc里有我们想要的图片的数据,我们可以用正则把我们想要的信息弄下来

  • 抓取索引页内容

利用Requests请求目标站点,得到索引网页HTML代码和HTML代码,返回结果

  • 抓取详情页内容

解析返回结果,得到详情页的链接,并进一步抓取详情页的信息

  • 下载图片与保存数据库

将图片下载到本地,并把页面信息及图片URL保存到MongoDB

  • 开启循环及多线程

对多页内容遍历,开启多线程提高抓取速度.

#config.py 
    MONGO_URL = 'localhost'
    MONGO_DB = 'toutiao'
    MONGO_TABLE = 'toutiao'
    
    group_start = 1
    group_end = 10
    key_word = '街拍'

以上是config.py文件中的参数

import requests
from requests.exceptions import RequestException  #requests请求时错误类型
from urllib.parse import urlencode
import json  #json解析
from bs4 import BeautifulSoup
import re  # 正则表达式
from config import * # 自己定义的一些参数列表
import pymongo  # 使用MongoDB时引用的库
from hashlib import md5  # 存储文件时引用的库
import os  # 存储文件时引用当前路径存储的路劲
from multiprocessing import Pool  # 多线程运行

client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]
headers = {'user-agent':
               'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'}


def get_page_index(offset, keyword):
    data = {
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': '20',
        'cur_tab': 1
    }
    url = 'https://www.toutiao.com/search_content/?' + urlencode(data)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求索引页出错')
        return None


# 获取最上层的url中article url的信息
def parse_page_index(html):
    data = json.loads(html)  # response 是json型的数据,因此用json.loads()处理
    if data and 'data' in data.keys():  # 判断data 是否在元数据中.data.keys()返回的是json文件中的key
        for item in data.get('data'):
            yield item.get('article_url')


def get_page_detail(url):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求页面出错', url)
        return None


def parse_page_detail(html, url):
    soup = BeautifulSoup(html, 'lxml')
    title = str(soup.select('title'))
    print(title)
    images_pattern = re.compile('"(http:.*?)&quot', re.S)
    result = re.findall(images_pattern, html)
    images = [image for image in result]
    for image in images: download_image(image)
    if result:
        return {
            'title': title,
            'url': url,
            'images': images
        }


def save_image(content):
    file_path = '{0}/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), 'jpg')
    if not os.path.exists(file_path):
        with open(file_path, 'wb') as f:
            f.write(content)
            f.close()


def download_image(url):
    print('正在下载:', url)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            #            return response.text
            save_image(response.content)
        return None
    except RequestException:
        print('请求图片出错', url)
        return None


def save_to_mongo(result):
    if result:
        if db[MONGO_TABLE].insert(result):
            print('存储到MONGODB成功', result)
            return True
    return False


def main(offset):
    html = get_page_index(offset, key_word)
    for url in parse_page_index(html):
        html = get_page_detail(url)
        if html:
            result = parse_page_detail(html, url)
            #            print(result)
            save_to_mongo(result)


if __name__ == '__main__':
    # main()
    groups = [i * 10 for i in range(group_start, group_end + 1)]
    pool = Pool()
    pool.map(main, groups)
    # for i in range(group_start, group_end + 1):
    #     main(i)

抓取的结果:

  1. 多线程:
    2.
    2.非多线程:
    在这里插入图片描述
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值