목록에서 중복 제거

가장 흔한 데이터 정리 작업

목록에는 중복이 쌓이기 마련이에요. 내보내기 파일 두 개를 이어 붙이거나, 양식이 두 번 제출되거나, 메일링 리스트를 예전 목록과 합치거나, 상품 카탈로그를 다시 가져오면 그래요. 그 결과 중복 항목이 생겨 집계가 틀어지고, 같은 우편물을 두 번 보내느라 돈이 낭비되며, 이메일 목록이라면 스팸으로 분류될 수도 있어요. 중복 제거는 거의 모든 정리 작업의 첫 단계이고, 수식이나 스크립트 없이 할 수 있어야 해요.

이 도구의 작동 방식

목록을 입력란에 붙여 넣거나 텍스트 파일 또는 CSV 파일을 끌어다 놓으세요. 한 줄이 항목 하나로 처리돼요. 도구는 각 항목이 처음 나온 것만 남기고 나머지는 지우며, 원래 순서를 그대로 유지해요. 요청하지 않으면 정렬하지 않아요. 결과에는 들어간 줄 수, 나온 줄 수, 제거된 중복 수가 표시돼요.

무엇을 중복으로 볼까

바이트 단위로 완전히 같지 않은 두 항목도 사람이 보기엔 중복인 경우가 많아요. 옵션으로 비교를 얼마나 엄격하게 할지 정할 수 있어요.

이메일 목록이라면 세 가지를 모두 켜세요. 대소문자가 의미 있는 상품 코드나 사용자 이름이라면 대소문자 무시는 꺼 두세요.

행 전체와 열 하나의 차이

CSV를 끌어다 놓으면 행 전체가 항목 하나이므로, 모든 열이 일치해야만 두 행이 중복이 돼요. 실수로 반복된 행을 지울 때는 이게 맞는 방식이에요. 이름이 달라도 이메일 주소마다 한 행만 남기는 것처럼 열 하나를 기준으로 중복을 지우고 싶다면, 먼저 열 추출 도구로 그 열을 뽑아내거나, 스프레드시트에서 그 열로 정렬한 뒤 거기서 중복을 제거하세요.

결과 받기

정리된 목록은 텍스트 파일로, 또는 CSV를 넣었다면 CSV로 다운로드되며, 파일 이름은 같고 끝에 "-deduped"가 붙어요. 스프레드시트, 메일 발송 도구 등 원래 있던 곳에 다시 붙여 넣으세요. 모든 작업이 브라우저 안에서 이뤄지므로 고객 목록이나 이메일 주소 묶음이 어디에도 업로드되지 않아요.

관련 정리 도구

목록이 이메일 주소라면 이메일 목록 정리 도구가 중복 제거와 검증, 정규화를 한 번에 해 줘요. 중복을 지우기 전에 여러 파일을 합쳐야 한다면 먼저 CSV 병합 도구를 사용하세요.