Как открыть CSV, который слишком велик для Excel
Что делать, когда Excel пишет, что CSV загружен не полностью.
Excel предупреждает, что файл загружен не полностью, или открывает CSV, а нижних строк просто нет. Вы упёрлись в лимит строк Excel. Все данные по-прежнему в файле; Excel просто не может их показать.
Лимиты
| Программа | Лимит |
|---|---|
| Excel | 1 048 576 строк и 16 384 столбца на лист |
| Google Таблицы | 10 миллионов ячеек на таблицу, поэтому для широких таблиц строк меньше |
| Apple Numbers | 1 000 000 строк на таблицу |
Задолго до этих лимитов большие файлы замедляют таблицы. Несколько сотен тысяч строк с множеством столбцов уже мучительно прокручивать, сортировать и фильтровать.
Способ 1: разделить файл на части
Самое простое решение. Разделение CSV режет файл на части с заданным числом строк и копирует строку заголовка в начало каждой части, поэтому каждая открывается и работает сама по себе. Для Excel 250 000-500 000 строк на часть остаются комфортно быстрыми. Строки никогда не разрезаются пополам, даже если внутри текста в кавычках есть переносы строк.
Способ 2: оставить только нужные столбцы
Во многих выгрузках десятки столбцов, а нужны три. Удаление остальных резко уменьшает файл и часто возвращает его в зону комфорта Excel. Извлечение столбцов оставляет названные столбцы в указанном порядке.
Способ 3: импорт через Power Query
Команда Excel «Данные», «Из текстового/CSV-файла» загружает файл через Power Query, который умеет фильтровать строки до того, как они попадут на лист, или загружать данные в модель данных, не ограниченную лимитом строк листа. Это правильный путь, если нужны сводные таблицы по всему набору данных.
Способ 4: инструмент для больших данных
Для миллионов строк, которые регулярно анализируют, лучше подходит база данных или инструмент для данных, чем таблица: база SQL, Python с pandas или специальный просмотрщик CSV. Для разового просмотра разделить быстрее, чем осваивать новый инструмент.
Как собрать части обратно
Когда части очищены или отфильтрованы, объединение CSV снова соберёт их в один файл с одной строкой заголовка.
Зачем делать это в браузере
Большие CSV это обычно выгрузки клиентов, заказов или транзакций. Инструменты по ссылкам обрабатывают файл в памяти браузера и никогда его не загружают. Файлы в несколько сотен мегабайт на ноутбуке не проблема; на телефоне очень большие файлы могут не поместиться в память.