34、专业机器学习主题：网页数据处理与特定领域应用

专业机器学习主题：网页数据处理与特定领域应用

1. 下载网页完整文本

在处理网页数据时，我们常常需要下载网页的完整文本。 RCurl 包提供了一种强大的方式来访问网页，它为 curl 实用工具提供了 R 接口。 curl 是一个跨平台的命令行工具，可用于在网络上传输数据，就像一个可编程的网络浏览器，可以根据给定的命令访问和下载几乎任何网页内容，并且能访问安全网站以及向在线表单提交数据。

不过，由于 curl 功能强大，完整的 curl 教程超出了本文的范围，你可以参考 RCurl 在线文档 。

安装 RCurl 包后，下载网页非常简单，示例代码如下：

library(RCurl) 
packt_page <- ("https://www.packtpub.com/")

上述代码将 Packt Publishing 主页的完整文本（包括所有网页标记）保存到名为 packt_page 的 R 字符对象中。但是，查看前 200 个字符时，会发现内容看起来像是乱码，这是因为网页使用超文本标记语言（HTML）编写，其中包含了用于告诉浏览器如何显示文本的特殊标签。例如， <title> 和 &l