Paano buksan ang CSV file na sobrang laki para sa Excel
Ano ang gagawin kapag sinabi ng Excel na hindi buong na-load ang isang CSV.
Nagpapakita ang Excel ng babala na hindi buong na-load ang file, o binubuksan nito ang CSV pero nawawala na lang ang mga row sa ibaba. Naabot mo na ang row limit ng Excel. Nasa file pa rin ang lahat ng data; hindi lang ito kayang ipakita ng Excel.
Ang mga limit
| Program | Limit |
|---|---|
| Excel | 1,048,576 row at 16,384 column bawat sheet |
| Google Sheets | 10 milyong cell bawat spreadsheet, kaya mas kaunting row para sa malalapad na table |
| Apple Numbers | 1,000,000 row bawat table |
Bago pa maabot ang mga limit na iyon, pinababagal na ng malalaking file ang mga spreadsheet. Ang ilang daang libong row na maraming column ay puwede nang maging pahirap i-scroll, i-sort o i-filter.
Paraan 1: hatiin ang file sa mga bahagi
Ang pinakasimpleng solusyon. Hinahati ng split CSV tool ang file sa mga bahaging may takdang bilang ng row bawat isa, at kinokopya ang header row sa itaas ng bawat bahagi, kaya bawat isa ay bumubukas at gumagana nang mag-isa. Para sa Excel, mabilis pa rin ang 250,000 hanggang 500,000 row bawat bahagi. Hindi kailanman nahahati sa gitna ang isang row, kahit may line break ito sa loob ng text na nasa quotation mark.
Paraan 2: itabi lang ang mga column na kailangan mo
Maraming export ang may dose-dosenang column pero tatlo lang ang kailangan mo. Kapag inalis ang iba, lumiliit nang husto ang file at madalas ay napapasok na ito sa kayang hawakan ng Excel. Itinatabi ng extract columns ang mga column na pinangalanan mo, sa pagkakasunod-sunod na inilista mo.
Paraan 3: i-import gamit ang Power Query
Ang Data, From Text/CSV option ng Excel ay naglo-load ng file sa pamamagitan ng Power Query, na kayang mag-filter ng mga row bago pa makarating sa sheet, o mag-load ng data sa Data Model, na hindi saklaw ng row limit ng sheet. Iyan ang tamang daan kung kailangan mo ng pivot table sa buong data set.
Paraan 4: gumamit ng tool na ginawa para sa malaking data
Para sa milyun-milyong row na regular na sinusuri, mas bagay na tahanan ang database o data tool kaysa spreadsheet: isang SQL database, Python na may pandas, o dedikadong CSV viewer. Para sa minsanang pagtingin, mas mabilis ang paghahati kaysa matuto ng bagong tool.
Pagbabalik ng mga bahagi sa isa
Kapag nalinis o na-filter mo na ang mga bahagi, pinagsasama ulit ng merge CSV ang mga ito sa iisang file, na may iisang header row lang.
Bakit gawin ito sa browser
Ang malalaking CSV ay kadalasang export ng mga customer, order o transaksyon. Pinoproseso ng mga tool na naka-link dito ang file sa memory ng browser mo at hindi kailanman ito ina-upload. Walang problema ang mga file na ilang daang megabyte sa laptop; sa phone, puwedeng maubusan ng memory ang napakalalaking file.