7、数据处理与网页抓取：从 CSV 到 HTML

数据处理与网页抓取：从 CSV 到 HTML

在数据处理和网页信息提取的领域中，我们常常会遇到各种格式的数据和复杂的网页结构。本文将详细介绍如何处理常见的 CSV 格式数据，以及如何使用 Ruby 进行 HTML 网页的信息抓取。

1. 处理分隔数据

1.1 使用 Ruby 单行命令提取用户主目录

在 Unix 系统中， /etc/passwd 文件包含了系统中所有用户的信息。若要列出系统中每个用户的主目录，我们可以借助 Ruby 单行命令来实现。

示例 passwd 文件内容如下：

# User Database
adent:x:1001:1000:Arthur Dent:/bin/zsh
fprefect:x:1002:1000:Ford Prefect:/bin/bash
zbeeblebrox:x:1003:1000:Zaphod Beeblebrox:/bin/tcsh

使用以下 Ruby 单行命令：

$ ruby -F: -ane 'puts File.expand_path("~" + $F[0]) unless /^#/' /etc/passwd

此命令的具体解释如下：
- -F: ：指定以冒号作为字段分隔符。
- -ane ：自动分割行，循环处理输入，并执行命令行