28、数据解析与处理技巧

数据解析与处理技巧

在数据处理过程中，我们常常会遇到各种与空格、格式相关的问题，如去除多余空格、压缩连续空格、处理固定长度记录、处理无换行符文件以及数据格式转换等。下面将详细介绍这些问题的解决方案。

1. 去除空格

在处理数据时，数据行的开头和/或结尾可能存在多余的空格，我们需要将其去除。

问题描述

需要去除数据行中开头和/或结尾的空格。

解决方案

这些解决方案依赖于bash中 read 和 $REPLY 的特定处理方式。

首先，我们来看一个包含开头和结尾空格的文件示例：

# 显示示例文件中的空格
$ while read; do echo ~~"$REPLY"~~; done < whitespace
~~ This line has leading spaces.~~
~~This line has trailing spaces. ~~
~~ This line has both leading and trailing spaces. ~~
~~ ➝ Leading tab.~~
~~Trailing tab. ➝ ~~
~~ ➝ Leading and trailing tab. ➝ ~~
~~ ➝ Leading mixed whitespace.~~
~~Trailing mixed whitespace. ➝ ~~
~~ ➝ Leading and trailing mixed whitespace. ➝ ~~