UTF-8 BOM無し/BOM有り

所沢でホームページ制作や欧州輸入品の販売などを行っているRishunTradingです。
前回は、本番環境(サーバー)と開発環境(ローカル)で、処理の目的は一緒でも実装上どうしても相違してしまう場合に、本番環境(サーバー)か、それとも開発環境(ローカル)かを、if文で分岐させる方法について紹介させて頂きました。
今回も、それに似た話ではあるのですが、サーバー環境と、ローカル環境で外部ファイルを扱う場合には、文字コード(UTF-8)、その中でもBOM有り／BOM無しを意識する必要がありますので、今回は、そのお話について記載しようと思います。

UTF-8のBOM付き、BOM無しとは

文字コードの一種であるUnicodeには、BOM付き、BOM無しの２種類があります。BOMは、Byte order markの略で、Unicodeで符号化されたテキストの先頭に付与される数バイトのデータの事です。
サーバーで扱う際には、「BOM無し」でないと、PHPのプログラムが正常に扱う事ができない場合があります。
そのため、サーバーで扱うには「BOM無し」のファイルである必要があります。

ややこしいのが、「Windows」。
｢Windows｣でテキストファイルと言えば、｢シフトJIS｣形式が大半でしたが、昨今では｢UTF-8｣形式のテキストファイルも普通になり、UTF-8が主流になりつつあります。
しかし、｢Windows｣で、UTF-8(BOM無し)のファイルを扱うと、弊害として「Windows Search」がうまく動作しないことがあります。「Windows Search」とは、エクスプローラーの検索欄などで使用されたりする便利なファイルの全文検索機能の事です。

なぜかというと、｢Windows Search｣は、「ファイルの先頭に付与されるBOM」を認識して正確にインデックス化を行う事で、この「Windows Search」のファイル全文検索機能を実現しています。
(正確に言うと、｢BOM無しのUTF-8｣でも、インデックス化されますが、ASCIIコードのみ全文検索が可能で、日本語などの非ASCII文字が、全文検索できない形になります。日本語も含めた全文検索を可能にするためには、BOM有りのUTF-8である必要があるわけです。)

そのため、恐らく｢Windows｣としては、｢Windows Search｣の(日本語などの非ASCII文字も含めた)全文検索機能を扱えるようにしたいのでしょう、Windows上のソフトウェアでUTF-8(BOM無し)のファイルを扱って保存すると、必然的に、「BOM付き」でファイルが保存されてしまいます。
(後で記載しますが、例外としてメモ帳は、UTF-8(BOMなし)での保存が可能になりました。)

一方で前段で記載した通り、「BOM付きのUTF-8」のファイルは、サーバー上では、PHPのプログラムが正常に扱う事ができない場合があります。

例えば、CSVファイルのインポート処理を実装したような場合、CSVファイルを「Excel」などで編集し保存すると、BOM付きのUTF-8のファイルとなるため、このままのインポート処理でCSVファイルを読み込ませてしまうと、インポート処理が正常に動作しない可能性があります。

WindowsでBOM無しUTF-8ファイルの作り方

Windowsのメモ帳は、UTF-8(BOM無し)での保存が可能です。そのため、ExcelなどでCSVファイルを編集した後、メモ帳で再度開き直し、保存し直せば、UTF-8(BOM無し)で保存されます。

メモ帳でBOM無しUTF-8での保存

前段の例で挙げた、インポート処理などでは、本ファイル(UTF-8 BOM無し)を扱う事で正常に扱う事ができます。
または、VisualStdio Codeのバイナリモードを使って先頭のBOMを手作業で削除しても大丈夫です。

プログラムでBOM無しUTF-8にする方法

①サーバーの場合

LinuxのnkfコマンドでBOMを削除できます。

そのため、サーバーでは、プログラム内から以下のようにコマンドを呼び出せば、BOMを削除する事ができます。

②Windowsの場合

Windowsの場合は、PowerShellを使って以下のようなバッチファイルを作成し、呼び出す処理をプログラム内に埋め込めば、BOMを削除する事ができます。

change-utf8.bat

プログラム内から呼び出す

前段の例で挙げたインポート処理であれば、読込処理を開始する前にこれらを実装すれば、BOM無しUTF-8で扱う事が出来ます。

以上、皆さまのお役に立てれば幸いです。