•  文字符号化方式・文字コード・コードページ・コードポイント
•  01_コンピュータにおける文字の符号化
•  02_文字符号化方式と文字集合 ( 文字セット )
•  03_文字コード・コードページ・コードポイント
•  04_Unicode ( ユニコード )
•  05_Unicode Standard 以外の文字
•  06_メモ帳でテキストを保存する時の [ 文字コード ] と BOM

本ページは，表題の用語についての簡単な説明記事です．

コンピュータでは，文字そのものを記憶したり保存することはできません．文字に数値 (番号) を割り当てて，その値を記憶したり保存したりしています．文字を画面に表示したり印刷する時は，文字に割れ当てた値に相当する文字の描画データを，フォントファイルから読み出して，図形としての文字を描画します．
文字に数値を割り当てて，各々の文字を識別することを符号化と言います．

文字の符号化は，コンピュータメーカがそれぞれ独自の符号化の方式で行ってきました．その結果，いくつもの文字符号化方式が存在することになりました．

日本では，1978年に JIS が文字符号化集合としての規格を制定しています．現在の JIS X 0208 がその規格です．この規格制定後，日本語の文字符号化方式は，この規格の文字を基本として符号化されています．

日本語の文字符号化方式は，以下の JIS X 0208 の文字が基本となっています．この規格の文字以外に，各符号化方式が独自に文字を追加しています．
各々の文字符号化方式で使用可能な文字全体を，符号化文字集合，あるいは，符号化文字セットと言います．単に文字集合，文字セットと言うこともあります．

• [JIS X 0208 区点コード表]

Windows では，マイクロソフトが策定した文字符号化方式を，ANSI (米国国家規格協会) が制定した方式が使用されてきました．ANSI の規格では，国と地域によって文字符号化方式が異なります．
日本語版の Windows では，ANSI が制定した Shift_JIS と呼ばれる文字符号化方式が使用されてきました．これは，JIS X 0208 で制定されている文字に，半角カタカナと約 400 文字を追加した内容になっています．
以下は，Windows の Shift_JIS の文字集合です．つまり，Shift_JIS で使用可能な文字の集まり (セット) ということになります．

• [Shift_JIS ( CP932 ) コード表]

文字を使用する立場としては，文字符号化方式 (文字の割り当て) の具体的な内容を知る必要はないと思いますが，以下のリンクに Shift_JIS についての説明記事があります．この記事の表で，Windows-31J が Windows の Shift_JIS です．1993  年リリースの Windows 3.1 の日本語版で実装されたのでこの名前になっています．

• とほほの文字コード入門 - Shift_JIS (シフトJIS) - とほほのWWW入門

コンピュータ関連のシステムベンダは，識別子を付けて文字符号化方式を区別しています．この識別子をコードページと言います．各コードページにおいて，つまり，文字の符号化によって，個々の文字に割り当てられた値をコードポイントと言います．

コードポイントは，符号点，符号化点，文字コードと言うこともあります．
以下の最初のリンクは，Windows で使用可能なコードページの一覧です．つまり，Windows で使用可能な文字符号化方式の一覧です．Shift_JIS のコードページは 932 です．コードページの識別子であることを明確にするには，プリフィックスの CP を付けて CP932 と表記します．

• Code Page Identifiers - Windows applications | Microsoft Docs
• [02_システムのコードページリスト

文字コードと言う用語は，コードポイントの意味ですが，文字符号化方式の意味で使われていることがあります．例えば，テキストファイルの場合，

という言い方をすることがあります．もちろん，実際にディスクに保存されているのは「テキスト (文字)」ではなく，文字コード (コードポイント) の値です．
個別の文字コードについては以下のような表現があります．

使用可能な文字は文字符号化方式によって決まります．これを「使用可能な文字は文字コードによって決まります」と言った場合，この「文字コード」が文字符号化方式のことを意味するのか，コードポイントのことを意味するのか，判断に迷います．

• 参考リンク
• [01_同じ文字でも文字符号化方式が異なると文字コードは異なる]
• [02_同じ文字コードでも文字符号化方式が異なると文字は異なる]

文字符号化方式を意味する時は，文字コードという用語ではなく，文字符号化方式という用語を使用した方が確実で無難と言えます．例えば，文字符号化方式による文字コードの違いを説明する場合も，「文字符号化方式」を使用した方が明確と言えます．

「文字符号化方式」は character encoding scheme の和訳です．このことから，エンコードの方式，あるいは単にエンコード (encode) という用語も，文字の符号化方式の意味で使用することがあります．文字コードを，別の符号化方式の文字コードに変換する処理もエンコードと言います．
encode は，情報の暗号化，記号化，符号化など，別の形式に変換するという意味です．その逆は decode (デコード) と言います．文字の符号化の場合，デコードの概念はありません．

1993年に UCS-2 として 34,233 字が制定されました．UCS-2 には，世界で一般的に使用される文字，記号類が登録されました．UCS-2 は，1 文字に 2 バイト使用します．その後，より多くの文字が扱えるように，UCS-2 を改定して，UTF-8, UTF-16, UTF-32 が制定されました．
どれも Unicode ですが，単に Unicode と言う時は UTF-16 のことを意味します．UTF-16 であることを明確にする場合は，コードポイントに U+ のプリフィックスを付けます．例えば，文字「東」のコードポイントは U+6771 と書きます．

Unicode に登録されている文字は，ユニコードコンソーシアムが公開している以下の PDF で閲覧することができます．Unicode Standard 15.0.0 にば，149,186 文字が登録されています．
この最初のリンクの PDF は，2 番目のリンクのディレクトリ 15.0.0/charts/ 内の CodeCharts.pdf です．

• Unicode Standard 15.0 登録文字一覧 (PDF) (全 2,603 頁)
• Index of _Public
• Index of _charts_PDF

例えば文字「東」のコードポイントは U+6771 です．これは下図のように登録されています．

コードポイントの下の表示は部首情報です．「東」は「木 (きへん)」の文字です．75.4 の 75 は部首番号で，4 は部首内の画数です．
漢字の下の表示は原典情報です．下表のようになっています．この文字が制定されている規格名とその文字コードになっています．TCA は，台北市コンピュータ協会の略称です．TCVN は Viet Nam Standards (Tieu Chuan Viet Nam) の略です．
「東」の簡体字は「东」です．

• Cnihan data for U+6771
• UAX #38 Unicode Han Database (Unihan) - kIRG_JSource

• 参考リンク
• [04_サロゲートペア・結合文字・異体字セレクタ・Emo]i]
• [康煕部首と CJK 部首補助の文字一覧]

漢字の異体字セレクタを使用する異体字は，Unicode Standard とは別に登録されています．以下は，異体字セレクタを使用する異体字関係の記事や資料へのリンクです．
2023年現在，日本の漢字としては，異体字セレクタを使用する異体字には，以下の 3, 4, 5 番目の 3 つのコレクションがあります．この 3, 4, 5 番目の PDF は，2 番目のリンクのディレクトリ [2022-09-13/] 内にある PDF です．

IVS は，異体字セレクタを使用する仕組みである Ideographic Variation Sequence (表意文字異体字シーケンス) の略称ですが，通常は，異体字セレク VS (Variation Selector) の具体的な値の意味で使われています．
したがって，異体字セレクタを使用する文字は UCS + IVS (基底文字 + 異体字セレクタの値) という構造になります．

Adobe-Japan1 collection の異体字は，Adobe-Japan1 に登録されている文字の一部です．Adobe-Japan1 は，Adobe が独自に符号化した文字セットです．Adobe-Japan1 は，DTP (Desktop publishing) におけるデファクトスタンダードとにっています．

Adobe-Japan1 collection のグリフは，Windows 10 に標準でインストールされる游明朝フォント / 游ゴシックフォントに収録されいます．下図は，游明朝フォントを使用した Adobe-Japan1 collection の異体字の例です．

• 参考リンク
• [異体字・異体字セレクタを使用する異体字・略字]
• [異体字セレクタを使用する異体字]

Hanyo-Denshi collection のグリフは，花園明朝フォントに収録されています． このフォントは，以下のリンクのページで，HanaMinA.otf, HanaMinB.otf, HanaMinC.otf の 3 つをクリックしてダウンロードできます．
花園明朝フォントには，Adobe-Japan1 collection の異体字も収録されています．
下図は，花園明朝A を使用した異体字の表示例です．

• 参考リンク
• HanaMinAFDKO

Moji_Joho collection のグリフは，文字情報技術促進協議会が提供している IPAmj明朝フォントに収録されています．このフォントは，以下の最初のリンクからダウンロードできます．また，IPAmj明朝フォントに収録されている漢字の情報がエクセルのブックで提供されています．以下の 2 番路のリンクからダウンロードできます．

• 参考リンク
• IPAmj明朝フォント
• MJ文字情報一覧表

• 参考リンク
• Standardized Variants
• Standardized Variation Sequences
• [CJK 互換漢字の文字 一覧]

• 参考リンク
• [Emoji ( 絵文字 ) 一覧]
• 登録 Emoji のリスト ([latest] 内)
• Basic Emoji (基本 Emoji) を掲載しているファイル ([latest] 内)

Windows 10 に付属のメモ帳では，テキストを保存する時に文字符号化方式を指定できます．下図は [ファイル] [名前を付けて保存] で現われる保存ダイアログの右下の部分です．[文字コード] が文字符号化方式の設定です．デフォルトは UTF-8 です．

UTF-16 には UTF-16 LE と UTF-16 BE があります．バイトデータが，実際に保存されたデータです．バイナリデータとも言います．

UTF-16 LE で保存すると，先頭に 0xFFFE が追加されてその後に各文字のコードポイントの値が続きますが，コードポイントの上位バイトと下位バイトが入れ替わっています．この状態を Little Endian (リトルエンディアン) と言います．
UTF-16 BE で保存すると，先頭に 0xFEFF が追加されてその後に各文字のコードポイントの値がそのまま続きます．この状態を Big Endian (ビッグエンディアン) と言います．
エンディアンは，このバイトオーダ (バイト順) を識別する用語です．先頭の 2 バイトはバイトオーダマーク (Byte Order Mark) と呼ばれていて，この値でエンディアンを判定します．どちらで保存しても，Intel 系の CPU のコンピュータではリトルエンディアンにして処理します．現在，多くのパソコンには Intel 系の CPU が使われていますから，UTF-16 LE で保存すれば良いと思われます．

「A」のコードポイントは U+0041 です．「東」のコードポイントは U+6771 です．

UTF-8 には UTF-8 と UTF-8 (BOM 付き) があります．バイトデータが，実際に保存されたデータです．UTF-8 は bOM なしとも言います．
EFBBBF が BOM に相当する値ですが，BOM があってもなくてもコードポイントのバイトオーダは同じです．UTF-8 の場合，BOM はバイトオーダの判定に使われているわけではありません．

下表は英数字だけを保存した結果です．123 は「数字」であって「数値」ではありません．数値の場合はバイトデータが異なります．

ANSI は，英語圏の場合は ASCII です．日本語環境の場合は Shift_JIS です．ANSI の場合も UTF-8 の場合はも保存されたバイトデータは全く同じになっています．これでは両者の区別が付きません．UTF-8 で保存する時に UTF-8 (BOM 付き) で保存すれば ANSI と UTF-8 の判定ができます．つまり，UTF-8 の BOM は，バイトオーダの識別用ではなく (BOM としての機能ではなく)，実際には UTF-8 であるかの判定用としてz使われていることになります．

UTF-16 のファイルには必ず BOM があります．UTF-8 のファイルには BOM 付きと BOM なしがありますが，利用するアプリが必ずしも BOM の存在をチェックして処理してくれるとは限りません．このことが問題となるのは，主にプログラミングの世界でのことです．