python爬虫爬取豆瓣网搜索结果同城活动数据

最新推荐文章于 2024-05-02 18:01:05 发布

原创

最新推荐文章于 2024-05-02 18:01:05 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #豆瓣 #BS4

本文介绍如何利用Python爬虫技术，结合BeautifulSoup库，从豆瓣网站抓取同城活动的搜索结果数据。主要关注参数设置，如搜索关键词（q）和频道编号（cat，同城活动对应1011）。通过此教程，读者将学习到网络爬虫的基本应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主要使用的库：

requests:爬虫请求并获取源码

re：使用正则表达式提取数据

json:使用JSON提取数据

pandas：使用pandans存储数据

bs4:网页代码解析

以下是源代码：

#!coding=utf-8
import requests
import re
import json
from requests.packages.urllib3.exceptions import InsecureRequestWarning
import pandas as pd
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
from bs4 import BeautifulSoup
import lxml


def doubanhudong(q,cat):  ###q  查询内容，cat 目录编号
    s = requests.session()
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Cache-Control': 'max-age=