•  文字符号化方式・文字コード・コードページ・コードポイント
•  01_コンピュータにおける文字の符号化
•  02_文字符号化方式の符号化文字集合
•  03_文字コード・コードページ・コードポイント
•  04_Unicode ( ユニコード )
•  05_Unicode Standard 以外の文字
•  06_メモ帳でテキストを保存する時の [ 文字コード ] と BOM

本ページは、表題の用語についての簡単な説明記事です。

コンピュータでは、文字そのものを記憶したり保存することはできません。文字に数値 (番号) を割り当てて、その値を記憶したり保存したりしています。文字を画面に表示したり印刷する時は、文字に割れ当てた値に相当する文字の描画データ (文字の形のデータ) を、フォントファイルから読み出して描画します。描画した図形が「文字」です。
文字に数値を割り当てて、各々の文字を識別することを符号化と言います。

文字の符号化は、コンピュータメーカが独自の符号化の方式で行ってきました。その結果、どの文字にどのような値を割り当てるかという文字符号化方式がいくつも存在することになりました。

日本では、1978年に JIS が文字符号化集合としての規格を制定しています。現在の JIS X 0208 がその規格です。この規格制定後、日本語の文字符号化方式は、この規格の文字を基本として符号化されています。

日本語の文字符号化方式は、以下の JIS X 0208 の文字が基本となっています。この規格の文字以外に、各符号化方式が独自に文字を追加しています。

• [JIS X 0208 区点コード表]

文字の符号化で定義した文字全体を、符号化文字集合、あるいは、符号化文字セットと言います。単に文字集合、文字セットと言うこともあります。これで、文字符号化方式によって、どの文字にどんな値を割り当てたかを具体的に知ることができます。

Windows では、マイクロソフトが策定した文字符号化方式を、ANSI (米国国家規格協会) が制定した方式が使用されてきました。ANSI の規格では、国と地域によって文字符号化方式が異なります。
日本語版の Windows では、ANSI が制定した Shift_JIS と呼ばれる文字符号化方式が使用されてきました。これは、JIS X 0208 で制定されている文字に、半角カタカナと約 400 文字を追加した内容になっています。
以下は、Shift_JIS の符号化文字集合の一覧です。このような表をコード表といいます。つまり、Shift_JIS で使用可能な文字ということになります。

• [Shift_JIS ( CP932 ) コード表]

文字を使用する立場としては、文字符号化方式 (文字の割り当て) の具体的な内容を知る必要はないと思いますが、以下のリンクに Shift_JIS についての説明記事があります。

• とほほの文字コード入門 - Shift_JIS (シフトJIS) - とほほのWWW入門

コンピュータ関連のシステムベンダは、識別子を付けて文字符号化方式を区別しています。この識別子をコードページと言います。各コードページにおいて、つまり、文字符号化方式で (文字の符号化によって)、個々の文字に割り当てられた値をコードポイントと言います。

コードポイントは、符号位置、符号点、符号化点、符号値、文字コードと言うこともあります。
以下の最初のリンクは、Windows で使用可能なコードページの一覧です。つまり、Windows で使用可能な文字符号化方式の一覧です。Shift_JIS のコードページは 932 です。コードページの識別子であることを明確にするには、プリフィックスの CP を付けて CP932 と表記します。

• Code Page Identifiers - Windows applications | Microsoft Docs
• [02_システムのコードページリスト

文字コードと言う用語は、個々の文字のコード、コードポイントの意味ですが、「文字コードが Shift_JIS の場合・・・」のように、文字符号化方式の意味で使われることがあります。
以下のように、文字符号化方式によるコードポイントの違いを説明する場合は、「文字コード」ではなく「文字符号化方式」を使用した方が明確と言えます。

以下の参考リンクの記事も「文字符号化方式」ではなく「文字コード」を使用すると、「同じ文字でも文字コードが異なると文字コードは異なる」や「同じ文字コードでも文字コードが異なると文字は異なる」となってしまいます。

• 参考リンク
• [01_同じ文字でも文字符号化方式が異なると文字コードは異なる]
• [02_同じ文字コードでも文字符号化方式が異なると文字は異なる]

「文字符号化方式」は、英語では character encoding scheme です。このことから、文字エンコーディング、エンコードの方式、あるいは単にエンコード (encode) という用語も、文字の符号化方式の意味で使用されています。文字コードを、別の符号化方式の文字コードに変換する処理もエンコードと言います。
encode は、情報の暗号化、記号化、符号化など、別の形式に変換するという意味です。その逆は decode (デコード) と言います。

1993年に UCS-2 として 34,233 字が制定されました。UCS-2 には、世界で一般的に使用される文字、記号類が登録されました。UCS-2 は、1 文字に 2 バイト使用します。その後、より多くの文字が扱えるように、UCS-2 を改定して、UTF-8、UTF-16、UTF-32 が制定されました。
どれも Unicode ですが、単に Unicode と言う時は UTF-16 を意味します。UTF-16 であることを明示する場合は、コードポイントに U+ のプリフィックスを付けます。例えば、文字「東」のコードポイントは U+6771 と記述します。

Unicode に登録されている文字は、ユニコードコンソーシアムが公開している以下の PDF で閲覧することができます。Unicode Standard 15.0.0 にば、149,186 文字が登録されています。
この最初のリンクの PDF は、2 番目のリンクのディレクトリ 15.0.0/charts/ 内の CodeCharts.pdf です。

• Unicode Standard 15.0 登録文字一覧 (PDF) (全 2,603 頁)
• Index of _Public
• Index of _charts_PDF

例えば文字「東」のコードポイントは U+6771 です。これは下図のように登録されています。

コードポイントの下の表示は部首情報です。「東」は「木 (きへん)」の文字です。75.4 の 75 は部首番号で、4 は部首内の画数です。
漢字の下の表示は原典情報です。下表のようになっています。この文字が制定されている規格名とその文字コードになっています。TCA は、台北市コンピュータ協会の略称です。TCVN は Viet Nam Standards (Tieu Chuan Viet Nam) の略です。
「東」の簡体字は「东」です。

• Cnihan data for U+6771
• UAX #38 Unicode Han Database (Unihan) - kIRG_JSource

• 参考リンク
• [04_サロゲートペア・結合文字・異体字セレクタ・Emo]i]
• [康煕部首と CJK 部首補助の文字一覧]
• [05_文字符号化方式とフォント]

漢字の異体字セレクタを使用する異体字は、Unicode Standard とは別に登録されています。以下は、異体字セレクタを使用する異体字関係の記事や資料へのリンクです。
2023年現在、日本の漢字としては、異体字セレクタを使用する異体字には、以下の 3, 4, 5 番目の 3 つのコレクションがあります。この 3, 4, 5 番目の PDF は、2 番目のリンクのディレクトリ [2022-09-13/] 内にある PDF です。

IVS は、異体字セレクタを使用する仕組みである Ideographic Variation Sequence (表意文字異体字シーケンス) の略称ですが、通常は、異体字セレク VS (Variation Selector) の具体的な値の意味で使われています。
したがって、異体字セレクタを使用する文字は UCS + IVS (基底文字 + 異体字セレクタの値) という構造になります。

Adobe-Japan1 collection の異体字は、Adobe-Japan1 に登録されている文字の一部です。Adobe-Japan1 は、Adobe が独自に符号化した文字セットです。Adobe-Japan1 は、DTP (Desktop publishing) におけるデファクトスタンダードとなっています。

Adobe-Japan1 collection のグリフは、Windows 10 に標準でインストールされる游明朝フォント / 游ゴシックフォントに収録されています。下図は、游明朝フォントを使用した Adobe-Japan1 collection の異体字の例です。

• 参考リンク
• [異体字・異体字セレクタを使用する異体字・略字]
• [異体字セレクタを使用する異体字]

Hanyo-Denshi collection のグリフは、花園明朝フォントに収録されています。 このフォントは、以下のリンクのページで、HanaMinA.otf、HanaMinB.otf、HanaMinC.otf の 3 つをクリックしてダウンロードできます。
花園明朝フォントには、Adobe-Japan1 collection の異体字も収録されています。
下図は、花園明朝A を使用した異体字の表示例です。

• 参考リンク
• HanaMinAFDKO

Moji_Joho collection のグリフは、文字情報技術促進協議会が提供している IPAmj明朝フォントに収録されています。このフォントは、以下の最初のリンクからダウンロードできます。また、IPAmj明朝フォントに収録されている漢字の情報がエクセルのブックで提供されています。以下の 2 番目のリンクからダウンロードできます。

• 参考リンク
• IPAmj明朝フォント
• MJ文字情報一覧表

• 参考リンク
• Standardized Variants
• Standardized Variation Sequences
• [CJK 互換漢字の文字 一覧]

• 参考リンク
• [Emoji ( 絵文字 ) 一覧]
• 登録 Emoji のリスト ([latest] 内)
• Basic Emoji (基本 Emoji) を掲載しているファイル ([latest] 内)

Windows 10 に付属のメモ帳では、テキストを保存する時に文字符号化方式を指定できます。下図は [ファイル] [名前を付けて保存] で現われる保存ダイアログの右下の部分です。[文字コード] が文字符号化方式の設定です。デフォルトは UTF-8 です。
ANSI は、日本語版 Windows でば Shift_JIS です。UTF-16 と UTF-8 は Unicode ですから、使用可能な文字は同じです。

UTF-16 には UTF-16 LE と UTF-16 BE があります。バイトデータが、実際に保存されたデータです。バイナリデータとも言います。

UTF-16 LE で保存すると、先頭に 0xFFFE が追加されてその後に各文字のコードポイントの値が続きますが、コードポイントの上位バイトと下位バイトが入れ替わっています。この状態を Little Endian (リトルエンディアン) と言います。
UTF-16 BE で保存すると、先頭に 0xFEFF が追加されてその後に各文字のコードポイントの値がそのまま続きます。この状態を Big Endian (ビッグエンディアン) と言います。
エンディアンは、このバイトオーダ (バイト順) を識別する用語です。先頭の 2 バイトはバイトオーダマーク (Byte Order Mark) と呼ばれていて、この値でエンディアンを判定します。どちらで保存しても、Intel 系の CPU のコンピュータではリトルエンディアンにして処理します。現在、多くのパソコンには Intel 系の CPU が使われていますから、UTF-16 LE で保存すれば良いと思われます。

「A」のコードポイントは U+0041 です。「東」のコードポイントは U+6771 です。

UTF-8 には UTF-8 と UTF-8 (BOM 付き) があります。バイトデータが、実際に保存されたデータです。UTF-8 は bOM なしとも言います。
EFBBBF が BOM に相当する値ですが、BOM があってもなくてもコードポイントのバイトオーダは同じです。UTF-8 の場合、BOM はバイトオーダの判定に使われているわけではありません。

下表は英数字だけを保存した結果です。123 は「数字」であって「数値」ではありません。数値の場合はバイトデータが異なります。

ANSI は、英語圏の場合は ASCII です。日本語環境の場合は Shift_JIS です。ASCUII の場合、ANSI も UTF-8 の場合も保存されたバイトデータは全く同じになります。これが UTF-8 本来の仕様です。UTF-8 で保存する時に UTF-8 (BOM 付き) で保存すれば ANSI と UTF-8 の判定ができます。つまり、UTF-8 の BOM は、バイトオーダの識別用ではなく (BOM としての機能ではなく)、実際には UTF-8 であるかの判定用として使われていることになります。