Поиск уникальных строк по одной колонке или нескольким можно выполнить с помощью команды sort $ sort -u -t , -k 1,1 <filename> Ключ -u указывает на поиск уникальных строк, -t , - разделитель колонок в файле, в данном примере это запятая, -k 1,1 - колонка для отбора, здесь - первая. Если необходимо проверять уникальность по нескольким колонкам, нужно указать несколько ключей -k: $ sort -u -t , -k 1,1 -k 4,4 <filename> В примере выше отбор строк производится по 1-й и 4-й колонкам

Читать далее →