Διόρθωση κωδικοποίησης κειμένου και CSV

Γιατί οι τονισμένοι χαρακτήρες γίνονται ακαταλαβίστικα

Αν ένα αρχείο δείχνει δύο ή τρία παράξενα σύμβολα εκεί όπου θα έπρεπε να υπάρχει ένα γράμμα με τόνο, μια απόστροφος ή ένα σύμβολο νομίσματος, έχει διαβαστεί με λάθος κωδικοποίηση χαρακτήρων. Το κείμενο αποθηκεύεται ως byte, και η κωδικοποίηση είναι ο κανόνας που μετατρέπει τα byte σε γράμματα. Τα σύγχρονα συστήματα χρησιμοποιούν UTF-8. Παλαιότερα προγράμματα Windows, και ιδιαίτερα το Excel, συχνά αποθηκεύουν και φορτώνουν κείμενο με μια τοπική κωδικοποίηση όπως η Windows-1252 (ή, σε ελληνικά Windows, η Windows-1253). Όταν ένα αρχείο που γράφτηκε με τον έναν τρόπο διαβάζεται με τον άλλον, κάθε χαρακτήρας εκτός του απλού ASCII βγαίνει λάθος. Τα δεδομένα δεν έχουν χαθεί· απλώς αποκωδικοποιούνται με λάθος κανόνα.

Δύο διαφορετικά προβλήματα, δύο διορθώσεις

Το αρχείο είναι σε παλιά κωδικοποίηση. Ένα CSV που εξήχθη από παλιό εργαλείο Windows είναι αποθηκευμένο ως Windows-1252 ή ISO-8859-1. Τα εργαλεία που περιμένουν UTF-8 δείχνουν ερωτηματικά ή χαρακτήρες αντικατάστασης. Διόρθωση: δηλώστε στο εργαλείο την κωδικοποίηση προέλευσης και θα αποθηκεύσει ξανά το αρχείο ως UTF-8, που το διαβάζουν σωστά όλα τα προγράμματα. Αυτή η επιλογή καλύπτει τις κωδικοποιήσεις Windows-1252 και ISO-8859-1· δεν μετατρέπει κείμενο Windows-1253.

Το αρχείο έχει κωδικοποιηθεί δύο φορές, το λεγόμενο «mojibake». Κάποιος διάβασε ένα αρχείο UTF-8 ως Windows-1252 και το αποθήκευσε ξανά, οπότε τα σωστά byte κωδικοποιήθηκαν ξανά σε δύο ή τρεις λάθος χαρακτήρες το καθένα. Από εδώ προέρχεται το γνωστό κεφαλαίο A με περισπωμένη πριν από κάθε τονισμένο γράμμα. Διόρθωση: η επιλογή επιδιόρθωσης αναιρεί το λάθος, κωδικοποιώντας ξανά αυτούς τους χαρακτήρες σε byte και αποκωδικοποιώντας τους σωστά ως UTF-8.

Αυτόματος εντοπισμός

Με την προέλευση ρυθμισμένη σε αυτόματη, το εργαλείο προσπαθεί πρώτα να διαβάσει το αρχείο ως αυστηρό UTF-8. Αν αυτό αποτύχει, καταφεύγει στη Windows-1252. Αν πετύχει αλλά το κείμενο περιέχει τα χαρακτηριστικά μοτίβα διπλής κωδικοποίησης, εφαρμόζει την επιδιόρθωση. Στις περισσότερες περιπτώσεις αυτό είναι το μόνο που χρειάζεστε· ορίστε την κωδικοποίηση χειροκίνητα μόνο αν το αυτόματο αποτέλεσμα εξακολουθεί να φαίνεται λάθος.

Η επιλογή BOM

Το Excel στα Windows εξακολουθεί να υποθέτει τοπική κωδικοποίηση όταν ανοίγει ένα CSV, εκτός αν το αρχείο ξεκινά με σήμανση σειράς byte. Γι' αυτό ένα σωστό αρχείο UTF-8 με ελληνικό κείμενο μπορεί να εμφανίζεται αλλοιωμένο στο Excel· η προσθήκη του BOM διορθώνει την εμφάνιση. Ενεργοποιήστε το BOM όταν το αρχείο θα ανοίξει ξανά στο Excel· αφήστε το ανενεργό για βάσεις δεδομένων, εργαλεία προγραμματισμού και τις περισσότερες διαδικτυακές εισαγωγές, αφού ορισμένες από αυτές θεωρούν τη σήμανση μέρος του ονόματος της πρώτης στήλης.

Τι παίρνετε

Το αποτέλεσμα είναι ένα αρχείο κειμένου UTF-8 με το ίδιο όνομα και περιεχόμενο, απλώς σωστά κωδικοποιημένο. Λειτουργεί για CSV, TXT και κάθε άλλο αρχείο απλού κειμένου. Τίποτα δεν μεταφορτώνεται σε διακομιστή· η επιδιόρθωση γίνεται στο πρόγραμμα περιήγησής σας. Για περισσότερες λεπτομέρειες, διαβάστε τους παράξενους χαρακτήρες CSV στο Excel.