字符，字節(jié)和編碼

[原創(chuàng)文章，轉(zhuǎn)載請保留或注明出處：http://www./zh/encoding.htm]

級別：中級

摘要：本文介紹了字符與編碼的發(fā)展過程，相關(guān)概念的正確理解。舉例說明了一些實際應用中，編碼的實現(xiàn)方法。然后，本文講述了通常對字符與編碼的幾種誤解，由于這些誤解而導致亂碼產(chǎn)生的原因，以及消除亂碼的辦法。本文的內(nèi)容涵蓋了“中文問題”，“亂碼問題”。

掌握編碼問題的關(guān)鍵是正確地理解相關(guān)概念，編碼所涉及的技術(shù)其實是很簡單的。因此，閱讀本文時需要慢讀多想，多思考。

引言

“字符與編碼”是一個被經(jīng)常討論的話題。即使這樣，時常出現(xiàn)的亂碼仍然困擾著大家。雖然我們有很多的辦法可以用來消除亂碼，但我們并不一定理解這些辦法的內(nèi)在原理。而有的亂碼產(chǎn)生的原因，實際上由于底層代碼本身有問題所導致的。因此，不僅是初學者會對字符編碼感到模糊，有的底層開發(fā)人員同樣對字符編碼缺乏準確的理解。

回頁首

1. 編碼問題的由來，相關(guān)概念的理解

1.1 字符與編碼的發(fā)展

從計算機對多國語言的支持角度看，大致可以分為三個階段：

字符串在內(nèi)存中的存放方法：

在 ASCII 階段，單字節(jié)字符串使用一個字節(jié)存放一個字符（SBCS）。比如，"Bob123" 在內(nèi)存中為：

42	6F	62	31	32	33	00
B	o	b	1	2	3	\0

在使用 ANSI 編碼支持多種語言階段，每個字符使用一個字節(jié)或多個字節(jié)來表示（MBCS），因此，這種方式存放的字符也被稱作多字節(jié)字符。比如，"中文123" 在中文 Windows 95 內(nèi)存中為7個字節(jié)，每個漢字占2個字節(jié)，每個英文和數(shù)字字符占1個字節(jié)：

D6	D0	CE	C4	31	32	33	00
中		文		1	2	3	\0

在 UNICODE 被采用之后，計算機存放字符串時，改為存放每個字符在 UNICODE 字符集中的序號。目前計算機一般使用 2 個字節(jié)（16 位）來存放一個序號（DBCS），因此，這種方式存放的字符也被稱作寬字節(jié)字符。比如，字符串 "中文123" 在 Windows 2000 下，內(nèi)存中實際存放的是 5 個序號：

2D	4E	87	65	31	00	32	00	33	00	00	00	← 在 x86 CPU 中，低字節(jié)在前
中		文		1		2		3		\0

一共占 10 個字節(jié)。

回頁首

1.2 字符，字節(jié)，字符串

理解編碼的關(guān)鍵，是要把字符的概念和字節(jié)的概念理解準確。這兩個概念容易混淆，我們在此做一下區(qū)分：

由于不同 ANSI 編碼所規(guī)定的標準是不相同的，因此，對于一個給定的多字節(jié)字符串，我們必須知道它采用的是哪一種編碼規(guī)則，才能夠知道它包含了哪些“字符”。而對于 UNICODE 字符串來說，不管在什么環(huán)境下，它所代表的“字符”內(nèi)容總是不變的。

回頁首

1.3 字符集與編碼

各個國家和地區(qū)所制定的不同 ANSI 編碼標準中，都只規(guī)定了各自語言所需的“字符”。比如：漢字標準（GB2312）中沒有規(guī)定韓國語字符怎樣存儲。這些 ANSI 編碼標準所規(guī)定的內(nèi)容包含兩層含義：

1. 使用哪些字符。也就是說哪些漢字，字母和符號會被收入標準中。所包含“字符”的集合就叫做“字符集”。
2. 規(guī)定每個“字符”分別用一個字節(jié)還是多個字節(jié)存儲，用哪些字節(jié)來存儲，這個規(guī)定就叫做“編碼”。

各個國家和地區(qū)在制定編碼標準的時候，“字符的集合”和“編碼”一般都是同時制定的。因此，平常我們所說的“字符集”，比如：GB2312, GBK, JIS 等，除了有“字符的集合”這層含義外，同時也包含了“編碼”的含義。

“UNICODE 字符集”包含了各種語言中使用到的所有“字符”。用來給 UNICODE 字符集編碼的標準有很多種，比如：UTF-8, UTF-7, UTF-16, UnicodeLittle, UnicodeBig 等。

回頁首

1.4 常用的編碼簡介

簡單介紹一下常用的編碼規(guī)則，為后邊的章節(jié)做一個準備。在這里，我們根據(jù)編碼規(guī)則的特點，把所有的編碼分成三類：

我們實際上沒有必要去深究每一種編碼具體把某一個字符編碼成了哪幾個字節(jié)，我們只需要知道“編碼”的概念就是把“字符”轉(zhuǎn)化成“字節(jié)”就可以了。對于“UNICODE 編碼”，由于它們是可以通過計算得到的，因此，在特殊的場合，我們可以去了解某一種“UNICODE 編碼”是怎樣的規(guī)則。

回頁首

2. 字符與編碼在程序中的實現(xiàn)

2.1 程序中的字符與字節(jié)

在 C++ 和 Java 中，用來代表“字符”和“字節(jié)”的數(shù)據(jù)類型，以及進行編碼的方法：

以上需要注意幾點：

1. Java 中的 char 代表一個“UNICODE 字符（寬字節(jié)字符）”，而 C++ 中的 char 代表一個字節(jié)。
2. MultiByteToWideChar() 和 WideCharToMultiByte() 是 Windows API 函數(shù)。

回頁首

2.2 C++ 中相關(guān)實現(xiàn)方法

聲明一段字符串常量：

UNICODE 字符串的 I/O 操作，字符與字節(jié)的轉(zhuǎn)換操作：

在 Visual C++ 中，UNICODE 字符串常量有更簡單的表示方法。如果源程序的編碼與當前默認 ANSI 編碼不符，則需要使用 #pragma setlocale，告訴編譯器源程序使用的編碼：

以上需要注意 #pragma setlocale 與 setlocale(LC_ALL, "") 的作用是不同的，#pragma setlocale 在編譯時起作用，setlocale() 在運行時起作用。

回頁首

2.3 Java 中相關(guān)實現(xiàn)方法

字符串類 String 中的內(nèi)容是 UNICODE 字符串：

字符串 I/O 操作，字符與字節(jié)轉(zhuǎn)換操作。在 Java 包 java.io.* 中，以“Stream”結(jié)尾的類一般是用來操作“字節(jié)串”的類，以“Reader”，“Writer”結(jié)尾的類一般是用來操作“字符串”的類。

如果 java 的源程序編碼與當前默認 ANSI 編碼不符，則在編譯的時候，需要指明一下源程序的編碼。比如：

以上需要注意區(qū)分源程序的編碼與 I/O 操作的編碼，前者是在編譯時起作用，后者是在運行時起作用。

回頁首

3. 幾種誤解，以及亂碼產(chǎn)生的原因和解決辦法

3.1 容易產(chǎn)生的誤解

第一種誤解，往往是導致亂碼產(chǎn)生的原因。第二種誤解，往往導致本來容易糾正的亂碼問題變得更復雜。

在這里，我們可以看到，其中所講的“誤解一”，即采用每“一個字節(jié)”就是“一個字符”的轉(zhuǎn)化方法，實際上也就等同于采用 iso-8859-1 進行轉(zhuǎn)化。因此，我們常常使用 bytes = string.getBytes("iso-8859-1") 來進行逆向操作，得到原始的“字節(jié)串”。然后再使用正確的 ANSI 編碼，比如 string = new String(bytes, "GB2312")，來得到正確的“UNICODE 字符串”。

回頁首

3.2 非 UNICODE 程序在不同語言環(huán)境間移植時的亂碼

非 UNICODE 程序中的字符串，都是以某種 ANSI 編碼形式存在的。如果程序運行時的語言環(huán)境與開發(fā)時的語言環(huán)境不同，將會導致 ANSI 字符串的顯示失敗。

比如，在日文環(huán)境下開發(fā)的非 UNICODE 的日文程序界面，拿到中文環(huán)境下運行時，界面上將顯示亂碼。如果這個日文程序界面改為采用 UNICODE 來記錄字符串，那么當在中文環(huán)境下運行時，界面上將可以顯示正常的日文。

由于客觀原因，有時候我們必須在中文操作系統(tǒng)下運行非 UNICODE 的日文軟件，這時我們可以采用一些工具，比如，南極星，AppLocale 等，暫時的模擬不同的語言環(huán)境。

回頁首

3.3 網(wǎng)頁提交字符串

當頁面中的表單提交字符串時，首先把字符串按照當前頁面的編碼，轉(zhuǎn)化成字節(jié)串。然后再將每個字節(jié)轉(zhuǎn)化成 "%XX" 的格式提交到 Web 服務器。比如，一個編碼為 GB2312 的頁面，提交 "中" 這個字符串時，提交給服務器的內(nèi)容為 "%D6%D0"。

在服務器端，Web 服務器把收到的 "%D6%D0" 轉(zhuǎn)化成 [0xD6, 0xD0] 兩個字節(jié)，然后再根據(jù) GB2312 編碼規(guī)則得到 "中" 字。

在 Tomcat 服務器中，request.getParameter() 得到亂碼時，常常是因為前面提到的“誤解一”造成的。默認情況下，當提交 "%D6%D0" 給 Tomcat 服務器時，request.getParameter() 將返回 [0x00D6, 0x00D0] 兩個 UNICODE 字符，而不是返回一個 "中" 字符。因此，我們需要使用 bytes = string.getBytes("iso-8859-1") 得到原始的字節(jié)串，再用 string = new String(bytes, "GB2312") 重新得到正確的字符串 "中"。

回頁首

3.4 從數(shù)據(jù)庫讀取字符串

通過數(shù)據(jù)庫客戶端（比如 ODBC 或 JDBC）從數(shù)據(jù)庫服務器中讀取字符串時，客戶端需要從服務器獲知所使用的 ANSI 編碼。當數(shù)據(jù)庫服務器發(fā)送字節(jié)流給客戶端時，客戶端負責將字節(jié)流按照正確的編碼轉(zhuǎn)化成 UNICODE 字符串。

如果從數(shù)據(jù)庫讀取字符串時得到亂碼，而數(shù)據(jù)庫中存放的數(shù)據(jù)又是正確的，那么往往還是因為前面提到的“誤解一”造成的。解決的辦法還是通過 string = new String( string.getBytes("iso-8859-1"), "GB2312") 的方法，重新得到原始的字節(jié)串，再重新使用正確的編碼轉(zhuǎn)化成字符串。

回頁首

3.5 電子郵件中的字符串

當一段 Text 或者 HTML 通過電子郵件傳送時，發(fā)送的內(nèi)容首先通過一種指定的字符編碼轉(zhuǎn)化成“字節(jié)串”，然后再把“字節(jié)串”通過一種指定的傳輸編碼（Content-Transfer-Encoding）進行轉(zhuǎn)化得到另一串“字節(jié)串”。比如，打開一封電子郵件源代碼，可以看到類似的內(nèi)容：

最常用的 Content-Transfer-Encoding 有 Base64 和 Quoted-Printable 兩種。在對二進制文件或者中文文本進行轉(zhuǎn)化時，Base64 得到的“字節(jié)串”比 Quoted-Printable 更短。在對英文文本進行轉(zhuǎn)化時，Quoted-Printable 得到的“字節(jié)串”比 Base64 更短。

郵件的標題，用了一種更簡短的格式來標注“字符編碼”和“傳輸編碼”。比如，標題內(nèi)容為 "中"，則在郵件源代碼中表示為：

其中，

• 第一個“=?”與“?”中間的部分指定了字符編碼，在這個例子中指定的是 GB2312。
• “?”與“?”中間的“B”代表 Base64。如果是“Q”則代表 Quoted-Printable。
• 最后“?”與“?=”之間的部分，就是經(jīng)過 GB2312 轉(zhuǎn)化成字節(jié)串，再經(jīng)過 Base64 轉(zhuǎn)化后的標題內(nèi)容。

如果“傳輸編碼”改為 Quoted-Printable，同樣，如果標題內(nèi)容為 "中"：

如果閱讀郵件時出現(xiàn)亂碼，一般是因為“字符編碼”或“傳輸編碼”指定有誤，或者是沒有指定。比如，有的發(fā)郵件組件在發(fā)送郵件時，標題 "中"：

這樣的表示，實際上是明確指明了標題為 [0x00D6, 0x00D0]，即 "ÖÐ"，而不是 "中"。

回頁首

4. 幾種錯誤理解的糾正

誤解：“ISO-8859-1 是國際編碼？”

非也。iso-8859-1 只是單字節(jié)字符集中最簡單的一種，也就是“字節(jié)編號”與“UNICODE 字符編號”一致的那種編碼規(guī)則。當我們要把一個“字節(jié)串”轉(zhuǎn)化成“字符串”，而又不知道它是哪一種 ANSI 編碼時，先暫時地把“每一個字節(jié)”作為“一個字符”進行轉(zhuǎn)化，不會造成信息丟失。然后再使用 bytes = string.getBytes("iso-8859-1") 的方法可恢復到原始的字節(jié)串。

誤解：“Java 中，怎樣知道某個字符串的內(nèi)碼？”

Java 中，字符串類 java.lang.String 處理的是 UNICODE 字符串，不是 ANSI 字符串。我們只需要把字符串作為“抽象的符號的串”來看待。因此不存在字符串的內(nèi)碼的問題。

回頁首

5. 相關(guān)鏈接