10、网页数据抓取：HTML文本与表格数据抓取全解析

网页数据抓取：HTML文本与表格数据抓取全解析

在当今信息爆炸的时代，从网页上抓取所需的数据变得越来越重要。无论是进行市场调研、学术研究还是数据分析，网页数据都是一个丰富的资源库。本文将详细介绍如何使用R语言中的 rvest 和 XML 包来抓取HTML文本和表格数据，帮助你轻松获取所需的信息。

1. 抓取特定HTML节点文本

当我们只关注网页上的特定内容时，需要更精准地选择HTML节点。可以使用浏览器的开发者工具来检查要抓取的网页，获取感兴趣的特定节点的详细信息。
- 打开开发者工具 ：
- Chrome或Firefox：按F12（Mac为Cmd + Opt + I）。
- Safari：使用Command - Option - I。
- 还可以使用Chrome扩展 selectorgadget.com 来帮助识别所需的网页元素。
- 选择元素选择器 ：打开开发者工具后，主要关注元素选择器，它位于开发者工具窗口的左上角。选择元素选择器后，将鼠标悬停在网页元素上，每个元素会被高亮显示，选择想要关注的元素，该元素会在开发者工具窗口中被识别。
- 抓取特定节点文本 ：以Wikipedia上的网页抓取内容为例，若只对主内容感兴趣，可选择高亮显示整个中心组件的元素，对应的元素为 <div id="bodyContent" class="mw-body-content"> 。可以通过调用ID名称（如