إصلاح ترميز النصوص وملفات CSV

لماذا تتحول الأحرف إلى رموز لا معنى لها

إن عرض ملف رمزين أو ثلاثة رموز غريبة مكان حرف ذي علامة أو فاصلة عليا أو رمز عملة، أو ظهرت الحروف العربية فيه كسلسلة من الرموز المشوهة، فقد قُرئ بترميز أحرف خاطئ. يُخزَّن النص كبايتات، والترميز هو القاعدة التي تحوّل البايتات إلى حروف. تستخدم الأنظمة الحديثة UTF-8. أما برامج Windows الأقدم، وExcel خصوصًا، فكثيرًا ما تحفظ النص وتحمّله بترميز إقليمي مثل Windows-1252. وعندما يُقرأ ملف كُتب بطريقة ما بالطريقة الأخرى، يخرج كل حرف خارج نطاق ASCII البسيط خاطئًا. البيانات لم تضع، بل تُفك بالقاعدة الخطأ فقط.

مشكلتان مختلفتان وحلان

الملف بترميز قديم. ملف CSV مُصدَّر من أداة Windows قديمة مخزّن بترميز Windows-1252 أو ISO-8859-1. والأدوات التي تتوقع UTF-8 تعرض علامات استفهام أو أحرفًا بديلة. الحل: أخبر هذه الأداة بترميز المصدر، فتعيد حفظ الملف بترميز UTF-8 الذي يقرؤه كل شيء بشكل صحيح.

الملف مرمّز مرتين، أو ما يسمى «mojibake». قرأ أحدهم ملف UTF-8 كأنه Windows-1252 ثم حفظه مجددًا، فأُعيد ترميز البايتات الصحيحة إلى حرفين أو ثلاثة أحرف خاطئة لكل منها. ومن هنا يأتي حرف A الكبير الشهير مع علامة التيلدا قبل كل حرف ذي علامة. الحل: خيار الإصلاح يعكس الخطأ بإعادة ترميز هذه الأحرف إلى بايتات ثم فكها بشكل صحيح كـ UTF-8.

الاكتشاف التلقائي

عند ضبط المصدر على الاكتشاف التلقائي، تحاول الأداة أولًا قراءة الملف كـ UTF-8 صارم. إن فشل ذلك، تنتقل إلى Windows-1252. وإن نجح لكن النص يحتوي على الأنماط الكاشفة للترميز المزدوج، تطبق الإصلاح. في معظم الحالات هذا كل ما تحتاجه، ولا تحدد الترميز يدويًا إلا إذا بدت النتيجة التلقائية خاطئة.

خيار BOM

لا يزال Excel على Windows يفترض ترميزًا إقليميًا عند فتح ملف CSV، ما لم يبدأ الملف بعلامة ترتيب البايتات (BOM). فعّل BOM عندما يكون الملف عائدًا إلى Excel، وأبقه متوقفًا لقواعد البيانات والأدوات البرمجية ومعظم عمليات الاستيراد على الويب، إذ يعامل بعضها هذه العلامة كجزء من اسم العمود الأول.

ما الذي تحصل عليه

الناتج ملف نصي بترميز UTF-8 بالاسم والمحتوى نفسيهما، لكن بترميز صحيح. ويعمل مع CSV وTXT وأي ملف نصي عادي آخر. لا يُرفع أي شيء، فالإصلاح يجري داخل متصفحك. ولمزيد من التفاصيل، اقرأ لماذا يعرض ملف CSV رموزًا غريبة في Excel.