awk脚本对两个文件按列进行字符串去重

 

awk '
BEGIN {

	#按行读取文件

        while((getline < "file.txt" ) > 0)
        {

		#将行数据存放在terms词典里
                terms[$1]=1
        }
}
{

	#若标准输入数据不在terms中，则输出
        if( $1 not in terms) print $1
}
'

注意：

      每接受一行标准输入，BEGIN便会执行一遍，这样效率不是很高，如果要提升效果可以指定一个全局状态变量。