7、文本处理与网页抓取：从分隔数据到HTML解析

文本处理与网页抓取：从分隔数据到HTML解析

在数据处理的日常工作中，我们常常会遇到各种格式的文本数据，如分隔数据和HTML网页内容。下面将详细介绍如何处理这些数据。

分隔数据处理

在处理分隔数据时，我们可以利用Ruby的一些特性来简化操作。例如，当我们需要列出系统中每个用户的主目录时，可以通过查看 passwd 文件来实现。这个文件通常存储在Unix系统的 /etc 目录下，包含了系统中所有用户的信息。

以下是一个使用Ruby单行命令提取用户主目录的示例：

$ ruby -F: -ane 'puts File.expand_path("~" + $F[0]) unless /^#/' /etc/passwd

在这个命令中：
- -F: 告诉Ruby使用冒号作为字段分隔符。
- -ane 选项让Ruby自动分割行、循环处理输入，并执行命令行中传递的代码。
- puts File.expand_path("~" + $F[0]) unless /^#/ 代码的作用是，对于不以 # 开头的行，提取每行的第一个字段（即用户名），并使用 File 类查找该用户的主目录。

在分隔数据中，CSV（逗号分隔值）文件是最常见的格式。虽然乍一看解析CSV文件似乎很简单，只需将字段分隔符设置为逗号，但实际上由于各种技术和历史原因，