اصلاح رمزگذاری نویسه متن و CSV

چرا نویسه‌ها به نمادهای بی‌معنی تبدیل می‌شوند

اگر فایلی به جای یک حرف تکیه‌دار، آپاستروف یا نماد ارز، دو یا سه نماد عجیب نشان می‌دهد، با رمزگذاری نویسه اشتباه خوانده شده است. متن به صورت بایت ذخیره می‌شود و رمزگذاری نویسه قاعده‌ای است که بایت‌ها را به حروف تبدیل می‌کند. سیستم‌های مدرن از UTF-8 استفاده می‌کنند. برنامه‌های قدیمی‌تر Windows، و به‌ویژه Excel، اغلب متن را با رمزگذاری منطقه‌ای مانند Windows-1252 ذخیره و باز می‌کنند. وقتی فایلی که به یک روش نوشته شده به روش دیگری خوانده شود، هر نویسه‌ای خارج از ASCII ساده اشتباه نمایش داده می‌شود. داده از بین نرفته است؛ فقط با قاعده اشتباه خوانده می‌شود. در متن فارسی، به هم ریختگی معمولاً از Windows-1256 می‌آید و این ابزار متنی را که با Windows-1256 اشتباه ذخیره شده تعمیر نمی‌کند؛ کار این ابزار اصلاح فایل‌های Windows-1252 و ISO-8859-1 و متن‌های دوبار رمزگذاری‌شده UTF-8 است.

دو مشکل متفاوت، دو راه‌حل

فایل با رمزگذاری قدیمی ذخیره شده است. یک CSV که از یک ابزار قدیمی Windows خروجی گرفته شده با Windows-1252 یا ISO-8859-1 ذخیره شده است. ابزارهایی که UTF-8 انتظار دارند به جای حروف علامت سؤال یا نویسه جایگزین نشان می‌دهند. راه‌حل: رمزگذاری مبدأ را به این ابزار بگویید تا فایل را دوباره با UTF-8 ذخیره کند که همه برنامه‌ها آن را درست می‌خوانند.

فایل دوبار رمزگذاری شده است، یا اصطلاحاً «mojibake». کسی یک فایل UTF-8 را به عنوان Windows-1252 خوانده و دوباره ذخیره کرده است، بنابراین هر بایت درست به دو یا سه نویسه اشتباه تبدیل شده است. حرف بزرگ A با علامت مد که پیش از هر حرف تکیه‌دار ظاهر می‌شود، از همین‌جا می‌آید. راه‌حل: گزینه تعمیر این اشتباه را برمی‌گرداند؛ آن نویسه‌ها را دوباره به بایت تبدیل می‌کند و آن‌ها را به درستی با UTF-8 می‌خواند.

تشخیص خودکار

وقتی مبدأ روی حالت خودکار است، ابزار ابتدا تلاش می‌کند فایل را به عنوان UTF-8 دقیق بخواند. اگر موفق نشود، به Windows-1252 برمی‌گردد. اگر موفق شود اما متن الگوهای آشنای رمزگذاری دوباره را داشته باشد، تعمیر را اعمال می‌کند. در بیشتر موارد همین کافی است؛ فقط اگر نتیجه خودکار هنوز اشتباه به نظر می‌رسد، رمزگذاری را دستی تعیین کنید.

گزینه BOM

Excel در Windows هنگام باز کردن CSV هنوز یک رمزگذاری منطقه‌ای را فرض می‌کند، مگر اینکه فایل با نشانه ترتیب بایت (BOM) شروع شود. اگر فایل فارسی شما در جای دیگر درست است و فقط در Excel به هم ریخته نمایش داده می‌شود، معمولاً همین BOM مشکل را حل می‌کند. وقتی فایل قرار است دوباره در Excel باز شود BOM را روشن کنید؛ برای پایگاه‌های داده، ابزارهای برنامه‌نویسی و بیشتر ورودی‌های وب خاموشش بگذارید، چون برخی از آن‌ها این نشانگر را بخشی از نام ستون اول در نظر می‌گیرند.

چه چیزی به دست می‌آورید

خروجی یک فایل متنی UTF-8 با همان نام و همان محتواست، فقط با رمزگذاری درست. برای CSV، TXT و هر فایل متنی ساده دیگری کار می‌کند. هیچ چیزی آپلود روی سرور نمی‌شود؛ تعمیر در مرورگر شما انجام می‌شود. برای توضیحات بیشتر، نویسه‌های عجیب CSV در Excel را بخوانید.