Удалить дубликаты из списка

Вставьте любой список или перетащите текстовый файл или CSV и получите его обратно без повторяющихся строк и с исходным порядком. Выберите, учитывать ли регистр и пробелы по краям, посмотрите, сколько дубликатов найдено, и всё это без того, чтобы список покидал ваше устройство.

Как удалить дубликаты из списка

Вставьте список в поле или перетащите файл .txt или .csv.
Выберите, игнорировать ли регистр, обрезать ли пробелы и пропускать ли пустые строки.
Запустите. Результат покажет, сколько строк было и сколько дубликатов удалено.
Скачайте очищенный список.

Самая частая задача очистки данных

В списках копятся дубликаты. Две выгрузки склеили вместе, форму отправили дважды, список рассылки объединили со старым или каталог товаров импортировали заново. В итоге повторяющиеся записи искажают подсчёты, тратят деньги на двойные рассылки, а в случае с адресами почты ещё и помечают вас как спамера. Удаление дубликатов это первый шаг почти любой очистки, и для него не должна требоваться формула или скрипт.

Как работает этот инструмент

Вставьте список в поле или перетащите текстовый файл или CSV. Каждая строка считается одной записью. Инструмент оставляет первое появление каждой записи, отбрасывает остальные и сохраняет исходный порядок. Ничего не сортируется, если вы не попросите. Результат показывает, сколько строк было, сколько осталось и сколько дубликатов удалено.

Что считать дубликатом

Две записи, которые не совпадают байт в байт, для человека часто всё равно дубликаты. Настройки определяют, насколько строгим будет сравнение:

Настройка	Действие	Пример, считающийся дубликатом
Без учёта регистра	Прописные и строчные буквы считаются одинаковыми	Ada@Example.com и ada@example.com
Обрезать пробелы	Пробелы и табуляции в начале и конце игнорируются	«ada@example.com » и «ada@example.com»
Пропускать пустые строки	Пустые строки удаляются полностью	Каждая пустая строка

Для списков адресов включайте все три. Для кодов товаров или логинов, где регистр важен, оставьте учёт регистра.

Строки целиком или отдельные столбцы

Когда вы перетаскиваете CSV, каждая строка целиком это одна запись, поэтому две строки считаются дубликатами, только если совпадают все столбцы. Это правильное поведение для удаления случайно повторённых строк. Если нужно убрать дубликаты по одному столбцу, например оставить одну строку на каждый адрес почты даже при разных именах, сначала вытащите этот столбец инструментом извлечения столбцов или отсортируйте таблицу по нему и удалите дубликаты там.

Как получить результат

Очищенный список скачивается текстовым файлом или CSV, если вы перетащили CSV, с тем же именем и добавкой «-deduped». Скопируйте его обратно в таблицу, сервис рассылок или туда, откуда он пришёл. Поскольку всё происходит в браузере, список клиентов или набор адресов никуда не загружается.

Смежная очистка

Если в списке адреса почты, инструмент очистки списка адресов делает удаление дубликатов плюс проверку и нормализацию за один проход. Чтобы объединить несколько файлов перед удалением дубликатов, сначала используйте объединение CSV.

Частые вопросы

Загружается ли мой список?

Нет. Удаление дубликатов полностью идёт в браузере, поэтому списки адресов и данные клиентов не покидают ваш компьютер.

Сохраняется ли исходный порядок?

Да. Первое появление каждой записи остаётся на месте, а последующие повторы удаляются. Ничего не сортируется.

«Ada@example.com» и «ada@example.com» это дубликаты?

Только если включено «Без учёта регистра». Включайте для адресов и имён, выключайте для кодов, где регистр важен.

Как обрабатывается файл CSV?

Каждая строка целиком это одна запись, поэтому строки считаются дубликатами, только если совпадают все столбцы. Чтобы удалить дубликаты по одному столбцу, сначала извлеките этот столбец.

Ваши файлы никогда не покидают устройство

Каждый инструмент на Squishly Tools на 100 % бесплатен и работает целиком внутри браузера. Ваши изображения и документы обрабатываются на вашем компьютере и никогда не отправляются на сервер. Здесь нет аккаунтов, водяных знаков и подвоха.