案例一
样本数据
ES11 ES15 ED13 ED15 ES1Z ED11 SZ13 SZ15 ED13 SB15 SB13 BT23 DZ19 IT39 SZ13 IU23 IT23 GZ13 GZ15 IJ13 IU21 JS13 IH13 BT25 ED11 ED13 ED15 EJ15 ES11 IT25 IU25 JS15 SV15去重命令：
awk'{arr[$1]++;if(arr[$1] == 1){print}}'11.txt案例二
样本数据
2019-01-13_12:00_index?uid=123 2019-01-13_13:00_index?uid=123 2019-01-13_14:00_index?uid=333 2019-01-13_15:00_index?uid=9710 2019-01-14_12:00_index?uid=123 2019-01-14_13:00_index?uid=123 2019-01-15_14:00_index?uid=333 2019-01-16_15:00_index?uid=9710去重命令
awk-F"?"'{arr[$2]++;if(arr[$2]==1){print}}'
