Ayusin ang encoding ng text at CSV

Bakit nagiging walang-kabuluhang simbolo ang mga accent

Kung nagpapakita ang isang file ng dalawa o tatlong kakaibang simbolo kung saan dapat may titik na may accent, apostrophe o currency sign, binasa ito gamit ang maling character encoding. Iniimbak ang text bilang mga byte, at ang encoding ay ang patakaran sa paggawa ng mga byte bilang mga titik. UTF-8 ang gamit ng mga modernong sistema. Ang mga lumang Windows program, lalo na ang Excel, ay madalas nagse-save at nagbubukas ng text gamit ang regional encoding gaya ng Windows-1252. Kapag ang file na isinulat sa isang paraan ay binasa sa ibang paraan, mali ang lalabas sa bawat character sa labas ng plain ASCII. Hindi nawala ang data; mali lang ang patakarang ginagamit sa pag-decode nito.

Dalawang magkaibang problema, dalawang solusyon

Nasa lumang encoding ang file. Ang CSV na na-export mula sa lumang Windows tool ay naka-store bilang Windows-1252 o ISO-8859-1. Ang mga tool na umaasa ng UTF-8 ay nagpapakita ng question mark o replacement character. Solusyon: sabihin sa tool na ito ang source encoding at ise-save nito ulit ang file bilang UTF-8, na tama ang pagbasa ng lahat.

Double-encoded ang file, o "mojibake". May taong nagbasa ng UTF-8 file bilang Windows-1252 at nag-save ulit, kaya ang mga tamang byte ay na-encode ulit bilang tig-dalawa o tig-tatlong maling character. Dito nanggagaling ang klasikong malaking titik A na may tilde bago ang bawat titik na may accent, at ito rin ang sumisira sa ñ sa mga pangalang Filipino. Solusyon: binabaligtad ng repair option ang pagkakamali sa pamamagitan ng pag-encode ulit ng mga character na iyon pabalik sa byte at maayos na pag-decode sa mga ito bilang UTF-8.

Awtomatikong pagtukoy

Kapag automatic ang source, sinusubukan muna ng tool na basahin ang file bilang mahigpit na UTF-8. Kung pumalya iyon, babalik ito sa Windows-1252. Kung nagtagumpay pero may mga palatandaang pattern ng double encoding ang text, ilalapat nito ang repair. Sa karamihan ng kaso, ito lang ang kailangan mo; itakda lang nang manual ang encoding kung mukhang mali pa rin ang awtomatikong resulta.

Ang BOM option

Inaakala pa rin ng Excel sa Windows na regional encoding ang gamit kapag nagbubukas ng CSV, maliban kung nagsisimula ang file sa byte order mark. I-on ang BOM kapag babalik sa Excel ang file; iwanang naka-off para sa mga database, programming tool at karamihan ng web import, dahil may ilan sa mga iyon na itinuturing ang marker na bahagi ng pangalan ng unang column.

Ano ang makukuha mo

Ang output ay UTF-8 text file na may parehong pangalan at laman, tama lang ang encoding. Gumagana ito para sa CSV, TXT at anumang iba pang plain text file. Walang ina-upload; tumatakbo ang pag-aayos sa loob ng browser mo. Para sa mas detalyadong paliwanag, basahin ang kakaibang character ng CSV sa Excel.