爬虫实战02--python爬虫百度贴吧标题与图片，遇上反爬(JS渲染后的页面无法抓取)，附解决方案,完整代码

最新推荐文章于 2025-03-06 09:00:00 发布
最新推荐文章于 2025-03-06 09:00:00 发布
阅读量1.8k 收藏 8
点赞数 6
分类专栏： python3 爬虫 反爬 文章标签： python 百度 xpath 爬虫 chrome
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44824717/article/details/108130777
版权

爬虫实战02--百度贴吧

01、运行环境

# 操作系统：win10 专业版
pycharm professional 2019.1
python 3.8
lxml == 4.5.1
requests == 2.23.0
xpath == 2.0.2

02、开始爬虫

02-1、爬取的内容

百度贴吧的标题以及里面的图片。
在爬取的过程中遇上了反爬（JS渲染后的页面无法抓取。），附上解决方案。
地址：

url = https://tieba.baidu.com/f?kw=lol&ie=utf-8&tab=main&pn=0&

02-2、开始抓取内容

02-2-1、首先

在浏览器里面打开检查模式，然后用Google的擦肩Xpath去获取内容，再也中显示的是正常的，获取到了我们需要的内容。
在这里插入图片描述

02-2-2、接下来

我们就在pycharm里面编写代码，解析页面，基于lxml和xpath获取内容。下面是代码：

# 代码
# 爬取百度贴吧标题和图片
import requests
from lxml import etree

url = 'https://tieba.baidu.com/f?kw=lol&ie=utf-8&tab=main'

headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36"
}

response = requests.get(url=url,headers=headers)
resstr = response.content.decode()

html = etree.HTML(resstr)
textlist = html.xpath("//ul/li//div[@class='threadlist_abs threadlist_abs_onlyline']/text()")
最低0.47元/天 解锁文章
C++ 栈与队列
yh的博客
03-31 461
1. 栈 栈是只能从一端访问的线性群体，是一种后进先出的数据结构。 栈示意图： 栈的基本状态： 栈空 栈满 一般状态 栈空：栈中没有元素（以数组容纳的栈为例） 栈满：栈中元素个数到达上限（以数组容纳的栈为例） ...
【C++】栈和队列（stack&queue）
love_guanghui的博客
12-01 3998
栈和队列 一.stack的介绍和使用 （1）概念 ·stack是一种后进先出的容器结构，准确来说stack并不是容器，而是一种容器适配器（对特定类封装作为其底层的容器）。 ...
【C++】 栈和队列
m0_72563041的博客
03-14 1639
【C++STL】栈和队列
C++ STL 栈(stack)与队列(queue)容器详解
嵌入式小程同学的博客
03-06 1641
深入剖析C++ STL stack容器：从入门到实战应用
C++栈和队列
辣鸡的博客
02-23 346
C++栈 C++ STL中提供了栈(stack)的模板。 #include <stack> ... stack<type> stk; 这就定义了一个栈stk。 栈支持下面的基本操作： stk.empty():stk为空则返回true，stk中存在元素则返回false stk.size():返回stk中的元素个数 s...
C++ STL——栈和队列（stack & queue）
希望自己从编程小白变成大佬
12-19 2032
2.1 queue的介绍queue的文档介绍根据queue的文档介绍可以知道,队列是一种容器适配器，专门设计用于在 FIFO 上下文（先进先出）中运行，其中元素插入容器的一端并从另一端提取。队列作为容器适配器实现，容器适配器是使用特定容器类的封装对象作为其基础容器的类，提供一组特定的成员函数来访问其元素。元素被推入特定容器的“背面”(即队尾)，并从其“正面”(即队头)弹出。基础容器可以是标准容器类模板之一，也可以是其他一些专门设计的容器类。emptysize。
栈和队列C++源代码
11-24
本文将深入探讨栈和队列的概念，以及如何用C++语言实现它们。 **栈（Stack）** 栈是一种“后进先出”（Last In First Out，简称LIFO）的数据结构。想象一个堆叠的盘子，最后一个放上去的盘子最先被拿走。在栈中，...
C++实现的任意进制转换（数据结构——栈和队列）
08-10
在编程领域，进制转换是一项基础且重要的技能。本文将深入探讨如何使用C++语言实现任意进制转换，特别是涉及到...这样的实践不仅加深了对数据结构的理解，也提升了编程技巧，对于学习C++和数据结构的同学来说极具价值。
C++标准模板库--栈和队列
zy1215058242的博客
10-31 1009
优先队列是一种容器适配器，根据严格的弱排序标准，它的第一个元素总是它所包含的元素中最大的。此上下文类似于堆，在堆中可以随时插入元素，并且只能检索最大堆元素(优先队列中位于顶部的元素)。优先级队列被实现为容器适配器，容器适配器即将特定容器类封装作为其底层容器类，queue提供一组特定的成员函数来访问其元素。元素从特定容器的“尾部”弹出，其称为优先队列的顶部。底层容器可以是任何标准容器类模板，也可以是其他特定设计的容器类。
c++ 栈和队列
BlackMonkeyHH的博客
01-23 524
栈和队列的基本用法
C++---之队列
zxyhhjs2017的博客
07-14 583
1、队列（Queue）与栈一样，是一种线性存储结构，它具有如下特点： （1）队列中的数据元素遵循“先进先出”（First In First Out）的原则，简称FIFO结构； （2）在队尾添加元素，在队头删除元素。 2、队列的相关概念： （1）队头与队尾： 允许元素插入的一端称为队尾，允许元素删除的一端称为队头； （2）入队：队列的插入操作； （3）出队：队列的删除操作。 3、队列的...
【C++】栈和队列（STL）
mikufanL的博客
05-20 479
链栈，共享栈，循环队列和链队列的基本实现。链栈头：#pragma once //定义节点 template<class T> struct Node { T data; struct Node<T>* next; }; //链栈模板类 template<class T> class LinkStack { public: LinkStack() { to...
C++之栈与队列
ZZY5707的博客
10-11 1176
适配器是一种设计模式(设计模式是一套被反复使用的、多数人知晓的、经过分类编目的、代码设计经验的总结)，该种模式是将一个类的接口转换成客户希望的另外一个接口。无论是电脑、手机还是其它电器，充电时都无法直接使用 220V 的交流电，为了方便用户使用，各个电器厂商都会提供一个适用于自己产品的电源线，它可以将 220V 的交流电转换成适合电器使用的低压直流电。从用户的角度看，电源线扮演的角色就是将原本不适用的交流电变得适用，因此其又被称为电源适配器。
C++中的栈和队列
qq_42263272的博客
10-23 221
#include<stdio.h> #include<stack> //栈 #include<queue> //队列 using namespace std; int main() { stack<int>s; //生命储存int类型的栈 s.push(1); s.push(2); ...
栈与队列（C++）
Greedy Hat的博客
06-03 325
栈（Stack）和队列（Queue）是两种操作受限的线性表。
栈和队列(c++)
蹦跶跶
05-23 601
栈和队列1. 栈1.1 顺序栈1.2 链栈2. 队列2.1 顺序队列2.2 链式队列 1. 栈 栈的原则是先进后出，操作类似于链表。写程序本身就是规则制定的过程，我们是规则的制定者，而栈、队列这些东西都是规则下的产物。 1.1 顺序栈 #include <iostream> using namespace std; typedef int DataType; const int MaxSize = 50;//定义顺序栈的存储容量 class SeqStack{ int top; Data
栈和队列C++
最新发布
03-14
### C++ 中栈和队列的实现与使用 #### 栈的实现与使用 在 C++ 的标准模板库（STL）中，`std::stack` 是一种容器适配器，它提供了后进先出（LIFO, Last In First Out）的数据存储方式。其基本操作包括 `push`, `pop`, 和 `top`。 以下是 `std::stack` 的一些常用功能及其说明： - **`push(element)`**: 将一个元素压入栈顶。 - **`pop()`**: 移除栈顶的元素。 - **`top()`**: 返回栈顶元素的引用。 - **`empty()`**: 判断栈是否为空。 - **`size()`**: 返回栈中元素的数量。 示例代码展示如何使用 `std::stack`： ```cpp #include <iostream> #include <stack> int main() { std::stack<int> s; // 压入元素到栈中 s.push(1); s.push(2); // 输出栈顶元素 std::cout << "Top element: " << s.top() << std::endl; // 删除栈顶元素 s.pop(); // 检查栈是否为空 if (!s.empty()) { std::cout << "Stack is not empty." << std::endl; } // 获取当前栈大小 std::cout << "Size of stack: " << s.size() << std::endl; return 0; } ``` 上述代码展示了如何创建并操作一个整型栈[^1]。 #### 队列的实现与使用 同样，在 STL 中，`std::queue` 提供了一种先进先出（FIFO, First In First Out）的数据结构。它的基础操作包括 `push`, `pop`, `front`, 和 `back`。 具体的操作描述如下： - **`push(element)`**: 向队列尾部添加新元素。 - **`pop()`**: 移除队首元素。 - **`front()`**: 返回队首元素的引用。 - **`back()`**: 返回队尾元素的引用。 - **`empty()`**: 判断队列是否为空。 - **`size()`**: 返回队列中元素的数量。 下面是关于 `std::queue` 使用的一个简单实例： ```cpp #include <iostream> #include <queue> int main() { std::queue<int> q; // 添加元素至队列 q.push(1); q.push(2); // 访问队首元素 std::cout << "Front element: " << q.front() << std::endl; // 访问队尾元素 std::cout << "Back element: " << q.back() << std::endl; // 删除队首元素 q.pop(); // 检查队列是否为空 if (!q.empty()) { std::cout << "Queue is not empty." << std::endl; } // 查看当前队列大小 std::cout << "Size of queue: " << q.size() << std::endl; return 0; } ``` 这段代码演示了如何初始化、填充以及管理一个简单的整数队列[^5]。 #### 自定义实现栈和队列 除了直接利用 STL 容器外，还可以通过数组或者链表手动模拟栈和队列的行为。这有助于深入理解这些数据结构的工作机制。例如，可以自定义一个基于动态数组的栈类或队列类，并重载必要的成员函数来完成相应的逻辑处理[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值