GBK與UTF-8互轉(zhuǎn)亂碼詳解

昵稱61698454 2019-02-22

展開全文

作為一個程序員，亂碼問題，應(yīng)該我們都有遇到，但對于這個問題，很難用一句話概括亂碼是怎么一回事，具體的問題還需要具體分析。

我們知道在計算機內(nèi)存中，存儲的是二進制數(shù)據(jù)，在網(wǎng)絡(luò)傳輸中，也是二進制數(shù)據(jù)，但最終呈現(xiàn)給用戶的是字符串，二進制與字符串的轉(zhuǎn)化就需要編碼、解碼的參與，如果世界上只有一種字符編碼方式，就不會有亂碼這一說了，但事實是，編碼的方式太多了，utf-8、utf-32、utf-16、gbk、gb2312、iso-8859-1、big5、unicode等等。由于每個編碼的規(guī)則不一樣，一般都不能用一種進行編碼，用另一種進行解碼。如utf-8中，一個字母用一個字節(jié)表示，一個漢字用三個字節(jié)表示，特殊的漢字用四個字節(jié)表示，而gbk中，一個字母用一個字節(jié)表示，一個漢字用兩個字節(jié)表示。

有一個說法，內(nèi)存中存儲的二進制是unicode碼，如果內(nèi)存中的數(shù)據(jù)需要存儲或傳輸時，才會進行一次轉(zhuǎn)化，將unicode碼轉(zhuǎn)化成其它的編碼二進制（有待考證）。個人覺得這種方式很合理，畢竟unicode碼中每個字符都有獨一無二的二進制與之對應(yīng)。

排查亂碼問題，難度在于是在哪個環(huán)節(jié)出了問題，但亂碼的本質(zhì)都是一樣的，讀取二進制的編碼和最初將字符串轉(zhuǎn)化成二進制的編碼方式不一致。

此處說明一個概念，編碼指將字符串轉(zhuǎn)化成二進制，解碼指將二進制轉(zhuǎn)化成字符串。

UTF-8編碼，GBK解碼

在這我們討論一下，gbk和utf-8互轉(zhuǎn)的亂碼問題，直接上代碼。package com.anjz.test;import java.io.UnsupportedEncodingException;public class CodingTest { public static void main(String[] args) throws UnsupportedEncodingException { String str = "你好，世界"; System.out.println("字符串長度:"+str.length()); byte[] utfBytes = str.getBytes("utf-8"); System.out.println("utf-8需要"+utfBytes.length+"字節(jié)存儲"); byte[] gbkBytes = str.getBytes("gbk"); System.out.println("gbk需要"+gbkBytes.length+"字節(jié)存儲"); }}

以上代碼運行打印出一下內(nèi)容:

字符串長度:5

utf-8需要15字節(jié)存儲

gbk需要10字節(jié)存儲

可以看出，utf-8存儲一個漢字，需要3個字節(jié)，gbk存儲一個漢字，需要2個字節(jié)。

現(xiàn)用單個字符測試。package com.anjz.test;import java.io.UnsupportedEncodingException;public class CodingTest { public static void main(String[] args) throws UnsupportedEncodingException { String str = "你"; byte[] utfBytes = str.getBytes("utf-8"); for(byte utfByte:utfBytes){ //字節(jié)對應(yīng)的十進制是負數(shù)，因java中的二進制使用補碼表示的，此處使用0xff 還原成int表示的數(shù)據(jù)，再轉(zhuǎn)化成16進制 System.out.print(Integer.toHexString((utfByte & 0xFF)) +","); } System.out.println(); String utf2gbkStr = new String(str.getBytes("utf-8"),"gbk"); System.out.println("utf-8轉(zhuǎn)化成gbk:"+utf2gbkStr); byte[] gbkBytes = utf2gbkStr.getBytes("gbk"); for(byte gbkByte:gbkBytes){ System.out.print(Integer.toHexString((gbkByte & 0xFF))+","); } System.out.println(); String gbk2utfStr = new String(utf2gbkStr.getBytes("gbk"),"utf-8"); System.out.println("gbk轉(zhuǎn)化成utf-8:"+gbk2utfStr); }}

運行上面代碼，得出的結(jié)果：

e4,bd,a0,

utf-8轉(zhuǎn)化成gbk:浣?

e4,bd,3f,

gbk轉(zhuǎn)化成utf-8:??

用兩個字符測試，將上述代碼String str = “你”改成String str = “你好”。運行代碼，得出的結(jié)果：

e4,bd,a0,e5,a5,bd,

utf-8轉(zhuǎn)化成gbk:浣犲ソ

e4,bd,a0,e5,a5,bd,

gbk轉(zhuǎn)化成utf-8:你好

上述實驗中，utf-8轉(zhuǎn)化成gbk出現(xiàn)亂碼，這個很好理解，但是再還原回去，gbk轉(zhuǎn)化成utf-8，單個中文字符依然是亂碼，兩個字符卻能正常顯示，這個到底是怎么回事呢？

經(jīng)過一番研究，想把這個事說明白，還需要從它們的編碼規(guī)則著手。

ISO-8859-1

單字節(jié)編碼，向下兼容ASCII，其編碼范圍是0x00-0xFF，0x00-0x7F之間完全和ASCII一致，0x80-0x9F之間是控制字符，0xA0-0xFF之間是文字符號。

GBK

采用單雙字節(jié)變長編碼，英文使用單字節(jié)編碼，完全兼容ASCII字符編碼，中文部分采用雙字節(jié)編碼。雙字節(jié)其編碼范圍從8140至FEFE（剔除xx7F）。

單字節(jié)：00000000 - 01111111

雙字節(jié)：10000001 01000000 - 11111110 11111110 (剔除******** 01111111)

單字節(jié)、雙字節(jié)的區(qū)分通過高字節(jié)高位區(qū)分，單字節(jié)高位為0，雙字節(jié)的高字節(jié)高位為1。

UTF-8

可變長字符編碼，是unicode碼的具體實現(xiàn)，UTF-8用1到6個字節(jié)編碼Unicode字符。

UTF-8編碼規(guī)則：如果只有一個字節(jié)則其最高二進制位為0；如果是多字節(jié)，其第一個字節(jié)從最高位開始，連續(xù)的二進制位值為1的個數(shù)決定了其編碼的字節(jié)數(shù)，其余各字節(jié)均以10開頭。

1字節(jié) 0xxxxxxx

2字節(jié) 110xxxxx 10xxxxxx

3字節(jié) 1110xxxx 10xxxxxx 10xxxxxx

4字節(jié) 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

5字節(jié) 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

6字節(jié) 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

明白上述GBK和UTF-8的編碼規(guī)則，我們再分析一下，單個中文字符是亂碼，兩個字符卻能正常顯示的問題。

“你”

UTF-8編碼對應(yīng)的二進制：11100100 10111101 10100000

將上述二進制通過GBK進行解碼，根據(jù)GBK規(guī)則，第一個字節(jié)高位為1，使用雙字節(jié)編碼，

“11100100 10111101”解碼成“浣”,“10100000”對于GBK來說是非法的，就解碼成了一種特殊字符“?”。

看看能不能將“浣?”還原回“你”呢？

GBK編碼對應(yīng)的二進制：11100100 10111101 00111111

看到上述的二進制，根本不符合UTF-8編碼規(guī)則，故用UTF-8進行解碼，是解碼成了一些特殊字符“??”。

對于上述情況可以看出，一個二進制，如果不符合當(dāng)前的編碼規(guī)則，會被解碼成特殊字符，但此特殊字符再進行編碼，是回不到最初的二進制的。

用同樣的方式，分析“你好”為什么最終可以正常顯示。

UTF-8編碼對應(yīng)的二進制：11100100 10111101 10100000 11100101 10100101 10111101

將上述二進制通過GBK進行編碼，根據(jù)GBK規(guī)則，使用雙字節(jié)編碼，“1100100 10111101”解碼成“浣”，“10100000 11100101”解碼成“犲”，“10100101 10111101”解碼成“ソ”。

看看能不能將“浣犲ソ”還原成“你好”呢？

GBK 編碼對應(yīng)的二進制：11100100 10111101 10100000 11100101 10100101 10111101

可以看出二進制是可以被還原的，將此二進制通過UTF-8解碼，肯定能變成“你好”。

可以看出，一個字符串，通過UTF-8進行編碼，再通過GBK進行解碼，再將得到的字符串進行GBK編碼，最后將得到的二進制通過UTF-8解碼，能否還原到最初的字符串，在于UTF-8編碼后得到的二進制，是否符合GBK的編碼規(guī)則，如果符合，最終就可以還原，如果不符合，就不可還原。

GBK編碼，UTF-8解碼package com.anjz.test;import java.io.UnsupportedEncodingException;public class CodingTest { public static void main(String[] args) throws UnsupportedEncodingException { String str = "你好"; byte[] gbkBytes = str.getBytes("gbk"); for(byte gbkByte:gbkBytes){ //字節(jié)對應(yīng)的十進制是負數(shù)，因java中的二進制使用補碼表示的，此處使用0xff 還原成int表示的數(shù)據(jù)，再轉(zhuǎn)化成16進制 System.out.print(Integer.toHexString((gbkByte & 0xFF)) +","); } System.out.println(); String gbk2utfStr = new String(str.getBytes("gbk"),"utf-8"); System.out.println("gbk轉(zhuǎn)化成utf-8:"+gbk2utfStr); byte[] utfBytes = gbk2utfStr.getBytes("utf-8"); for(byte utfByte:utfBytes){ System.out.print(Integer.toHexString((utfByte & 0xFF))+","); } System.out.println(); String utf2gbkStr = new String(gbk2utfStr.getBytes("utf-8"),"gbk"); System.out.println("utf-8轉(zhuǎn)化成gbk:"+utf2gbkStr); }}

運行上述代碼，結(jié)果為：

c4,e3,ba,c3,

gbk轉(zhuǎn)化成utf-8:???

ef,bf,bd,ef,bf,bd,ef,bf,bd,

utf-8轉(zhuǎn)化成gbk:錕斤拷錕?

上述結(jié)果應(yīng)該都在意料之中，我們通過上述的方法分析一下。

“你好”GBK編碼的二進制：11000100 11100011 10111010 11000011

GBK編碼的二進制數(shù)據(jù)，完全匹配不了UTF-8的編碼規(guī)則，最終UTF-8只能按如下方式匹配，查看第一個字節(jié)，開頭“110”，理論上匹配兩個字節(jié)，但看下一個字節(jié)，開頭卻不是“10”，最終“11000100”解碼成“?”,看第二個字節(jié)開頭是“1110”，理論匹配三個字節(jié)，看下個字節(jié)符合，以“10”開頭，但下下個字節(jié)開頭是“110”，不符合匹配，最終“11100011 10111010”解碼成“?”，同理“11000011”也解碼成“?”，這個符號都是為找不到對應(yīng)規(guī)則隨意匹配的一個特殊字符。

“???”UTF-8編碼的二進制為：11101111 10111111 10111101 11101111 10111111 10111101 11101111 10111111 10111101

這個二進制和原先的二進制不相同，根本轉(zhuǎn)化不到最初的字符串，按照GBK的編碼規(guī)則，“11101111 10111111”編碼成“錕”,“10111101 11101111” 編碼成“斤”，“10111111 10111101”編碼成“拷”，“11101111 10111111”編碼成“錕”，“10111101”不符合GBK規(guī)則，編碼成特殊字符“?”。

理論上說，用GBK編碼，UTF-8解碼的字符串是不能還原到最初的字符串的，因UTF-8編碼規(guī)則的特殊性，GBK編出的二進制，是很難匹配上的。

總結(jié)

理論上說，系統(tǒng)出現(xiàn)亂碼，將亂碼還原到最初的樣子，上述UTF-8編碼，GBK解碼，這個有時是可以還原的，有時是還原不了的，要看UTF-8編碼的二進制是否都能符合GBK的編碼規(guī)則，但GBK編碼，UTF-8解碼，這個基本是條不歸路。

但實際中，有一種情況，是100%可以將亂碼還原成最初的字符串。就是任意編碼格式編碼，ISO-8859-1解碼，這個主要因為ISO-8859-1是單字節(jié)編碼，而且匹配所有單字節(jié)情況，亂碼字符串總是可以還原到最初的二進制。

拓展一個小知識點：

關(guān)于進制的表示有兩種方式，一種是前綴表示法，一種是后綴表示法。

前綴表示法

十六進制：0x

十進制：無前綴

八進制：0

二進制：沒有表示符號

后綴表示法