python爬虫学习笔记--BeautifulSoup (二)(三种遍历类型)

demo =  ("http://python123.io/ws/demo.html").text

标签树遍历方式:

下行遍历:

.content()  // 当前节点子节点的列表,将<tag>所有儿子节点存入列表

.children() // 子节点的迭代类型,循环编列儿子节点(类似content)

.descendants() // 获取当前节点所有后续节点的信息(迭代类型)

 

上行遍历,:

.parent 节点的父亲标签

.parents 节点所有先辈的标签(迭代类型)

遍历时会遍历到soup本身,其parent为None

祖先的父亲是自己

 

平行遍历:

.next_sibling / .next_siblings 返回HTML文本顺序的下一个平行节点标签 / 其迭代类型

.previous_sibling / .previous_sliblings 上一个 / 迭代

返回值可能是None, string, 标签

平行遍历必须发生在同一个父亲节点下,否则不行

 

soup.prettify() 对HTML文本的标签tag添加换行符,使得文本更容易阅读

 

### Python爬虫学习教程与资源 对于零基础入门Python爬虫,建议遵循一个结构化的学习路径来逐步掌握所需技能。这不仅有助于理解基础知识,还能为后续深入研究打下坚实的基础[^1]。 #### 学习路线概述 初学者可以从以下几个方面入手: - **编程基础** 掌握Python基本语法、数据类型、控制流语句以及函数定义等内容。这是编写任何程序的前提条件。 - **网络协议** 理解HTTP/HTTPS的工作原理及其请求响应模式;熟悉URL组成规则和参数传递方式等知识点。 - **HTML/CSS解析** 学会读取网页源代码中的标签含义,并能够利用BeautifulSoup库提取特定信息片段。 - **抓取框架Scrapy** Scrapy是一个强大的异步处理工具包,专为Web Scraping设计。通过官方文档了解其安装配置过程并尝试构建简单的项目实例。 - **反爬机制应对策略** 随着网站安全措施日益严格,在合法合规的前提下探索绕过验证码识别、IP封禁等问题的方法论和技术手段。 ```python import requests from bs4 import BeautifulSoup url = 'https://example.com' response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") title = soup.find('h1').text.strip() print(f"The title of the page is {title}") ``` 此段代码展示了如何使用`requests`发送GET请求获取目标页面内容,并借助`BeautifulSoup`完成DOM树遍历操作从而定位到标题元素节点最终打印出来自于该位置的文字串值。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值