Hoe je een heel groot CSV-bestand opent
Wat er gebeurt als een CSV over de grens van Excel gaat, en vier manieren om het op te lossen.
Je hebt een export van honderden megabytes. Excel opent, denkt na, en toont dan een waarschuwing dat het bestand niet volledig is geladen, of loopt vast. Het ligt niet aan je computer, het is een grens van het programma.
De echte grenzen
| Tool | Grens |
|---|---|
| Excel | 1.048.576 rijen en 16.384 kolommen per tabblad |
| Google Spreadsheets | 10 miljoen cellen per bestand |
| Kladblok in Windows | Werkt, maar is loodzwaar bij grote bestanden |
Excel wordt al veel eerder traag. Vanaf een paar honderdduizend regels met veel kolommen wordt elke sortering een beproeving.
1. Kijk eerst wat erin zit
Voordat je alles probeert te laden, vraag je je af wat je echt nodig hebt. Vaak zijn dat een paar kolommen, een periode of een totaal. De tool kolommen eruit halen leest het bestand in je browser en toont de kopteksten en een voorbeeld van de regels, zodat je weet wat erin zit voordat je iets besluit.
2. Knip het in werkbare delen
De tool CSV splitsen knipt een groot bestand in kleinere bestanden, elk met de koptekstregel, bijvoorbeeld 200.000 regels per deel. Elk deel gaat daarna gewoon open in Excel. Dat is de simpelste oplossing als je in een spreadsheet moet werken en de delen los kunt verwerken.
3. Houd alleen wat je nodig hebt
Vaak is het bestand groot door ongebruikte kolommen. Haal die eruit met de tool kolommen eruit halen: een bestand van 400 MB zakt soms onder de 40 MB, en dan slikt Excel het zonder morren.
4. Gebruik gereedschap dat hiervoor gemaakt is
Werk je vaker met grote bestanden, dan zijn er drie duurzame opties:
- Power Query in Excel. Gegevens, Gegevens ophalen: het laadt, filtert en telt op zonder alle regels in het tabblad te hoeven zetten.
- Een database. De CSV in SQLite of PostgreSQL importeren maakt zoekopdrachten razendsnel.
- Een scripttaal. Python met pandas, of R, verwerkt tientallen miljoenen regels op een gewone laptop.
Als het bestand maar één kolom lijkt te hebben
Groot of niet, belandt alles in kolom A, dan is het scheidingsteken het probleem: het bestand gebruikt waarschijnlijk puntkomma’s of tabs. De tool codering herstellen herkent het scheidingsteken en kan het omzetten.
Privacy
Grote exports bevatten vaak alle klanten, alle orders of alle medewerkers. Zo’n bestand naar een online dienst sturen is zelden acceptabel, en soms verboden door interne regels. De CSV-tools waarnaar hier wordt verwezen verwerken het bestand in je browser, dus het verlaat je computer niet.