去除 csv 文件中的重复行

【问题】

I have a csv file. columns in csv file - "SNo. StateName CityName AreaName PinCode NonServ.Area MessangerService Remark". The column CityName has repeated values.

Ex: In many records, it has unique value (Delhi). Is there any approach in java to read that csv file and get the distinct values from that column of the csv file.

【回答】

去除重复行是简单的结构化计算，但JAVA缺乏相关的类库，实现过程复杂，代码可读性差。这种情况下可以用SPL辅助实现，代码更直观易懂：

	A
1	=file("E:\\yourfile.csv").import@tc()
2	=A1.group@1(CityName)

A1: @c表示以逗号为分隔符读入文件。@t表示将第一行读为列名。

A2:按CityName分组，取各组第1条记录。该问题的规则没写清楚，这里假设是：如果多条记录里的CityName重复，则保留第1条记录。

关于JAVA集成，参考Java 如何调用 SPL 脚本。