删除列表中的重复项

最常见的数据清理任务

列表总会积累重复项。两份导出数据被粘贴到一起，表单被提交了两次，邮件列表和旧列表合并，或者商品目录被重新导入。结果就是重复的条目让统计数字失真，重复寄送浪费钱，如果是邮件列表，还会让你被标记为垃圾邮件发送者。去除重复项几乎是每次数据清理的第一步，而这本不该需要公式或脚本。

这个工具的工作方式

把列表粘贴到输入框中，或者拖放一个文本文件或 CSV 文件。每一行被视为一个条目。工具会保留每个条目第一次出现的那一行，删除其余的重复行，并保持原有顺序。除非你要求，否则不会进行任何排序。结果会告诉你输入了多少行、输出了多少行，以及删除了多少个重复项。

什么算重复

两个条目即使不是逐字节完全相同，在人看来往往仍然是重复的。下面的选项控制比较的严格程度：

处理邮件列表时，三个选项都打开。处理大小写有区别的商品编码或用户名时，请关闭忽略大小写。

整行比较与单列比较

拖放 CSV 时，每一整行算作一个条目，所以只有所有列都相同的两行才算重复。对于删除意外重复的行，这正是正确的做法。如果你想按某一列去重，比如即使姓名不同，每个邮箱地址也只保留一行，可以先用提取列工具取出那一列，或者在表格软件中按那一列排序后再删除重复项。

获取结果

清理后的列表会以文本文件下载；如果你拖放的是 CSV，则以 CSV 下载，文件名不变，只在后面加上 "-deduped"。把它复制回你的表格、邮件工具或者原来的地方即可。由于一切都在浏览器中完成，客户名单或邮箱地址列表不会被上传到任何地方。

相关清理工具

如果列表是邮箱地址，邮件列表清理工具可以一次性完成去重、校验和格式统一。如果要先合并多个文件再去重，请先使用 CSV 合并工具。