如果您喜歡這些文章,歡迎點(diǎn)擊此處訂閱本Blog

日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

UTF-8、GB2312、GB18030、GBK和BIG5等字符集編

系統(tǒng) 1855 0
<!-- Feedsky FEED發(fā)布代碼開始 --> 如果您喜歡這些文章,歡迎點(diǎn)擊此處訂閱本Blog <!-- FEED自動(dòng)發(fā)現(xiàn)標(biāo)記開始 --> <link title="RSS 2.0" type="application/rss+xml" rel="alternate"> <!-- FEED自動(dòng)發(fā)現(xiàn)標(biāo)記結(jié)束 --> Blog 訂閱

<!--Google 468*60橫幅廣告開始--><script type="text/javascript"><!-- google_ad_client = "pub-7343546549496470"; google_ad_width = 468; google_ad_height = 60; google_ad_format = "468x60_as"; google_ad_type = "image"; //2007-07-26: CSDN google_ad_channel = "6063905817"; google_color_border = "6699CC"; google_color_bg = "E6E6E6"; google_color_link = "FFFFFF"; google_color_text = "333333"; google_color_url = "AECCEB"; google_ui_features = "rc:6"; //--> </script><script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"> </script><!--Google 468*60橫幅廣告結(jié)束-->

一 預(yù)備知識(shí)
1,字符:字符是抽象的最小文本單位。它沒有固定的形狀(可能是一個(gè)字形),而且沒有值。“A”是一個(gè)字符,“€”(德國(guó)、法國(guó)和許多其他歐洲國(guó)家通用貨幣的標(biāo)志)也是一個(gè)字符。“中”“國(guó)”這是兩個(gè)漢字字符。字符僅僅代表一個(gè)符號(hào),沒有任何實(shí)際值的意義。
2,字符集:字符集是字符的集合。例如,漢字字符是中國(guó)人最先發(fā)明的字符,在中文、日文、韓文和越南文的書寫中使用。這也說明了字符和字符集之間的關(guān)系,字符組成字符集(iso8859-1,GB2312/GBK,unicode)。
3,代碼點(diǎn):字符集中的每個(gè)字符都被分配到一個(gè)“代碼點(diǎn)”。每個(gè)代碼點(diǎn)都有一個(gè)特定的唯一數(shù)值,稱為標(biāo)值。該標(biāo)量值通常用十六進(jìn)制表示。
4,代碼單元: 在每種編碼形式中,代碼點(diǎn)被映射到一個(gè)或多個(gè)代碼單元。“代碼單元”是各個(gè)編碼方式中的單個(gè)單元。代碼單元的大小等效于特定編碼方式的位數(shù):
UTF-8 :UTF-8 中的代碼單元由 8 位組成;在 UTF-8 中,因?yàn)榇a單元較小的緣故,每個(gè)代碼點(diǎn)常常被映射到多個(gè)代碼單元。代碼點(diǎn)將被映射到一個(gè)、兩個(gè)、三個(gè)或四個(gè)代碼單元;
UTF-16 :UTF-16 中的代碼單元由 16 位組成;UTF-16 的代碼單元大小是 8 位代碼單元的兩倍。所以,標(biāo)量值小于 U+10000 的代碼點(diǎn)被編碼到單個(gè)代碼單元中;
UTF-32:UTF-32 中的代碼單元由 32 位組成; UTF-32 中使用的 32 位代碼單元足夠大,每個(gè)代碼點(diǎn)都可編碼為單個(gè)代碼單元;
GB18030:GB18030 中的代碼單元由 8 位組成;在 GB18030 中,因?yàn)榇a單元較小的緣故,每個(gè)代碼點(diǎn)常常被映射到多個(gè)代碼單元。代碼點(diǎn)將被映射到一個(gè)、兩個(gè)或四個(gè)代碼單元。
5,舉例:

“中國(guó)北京香蕉是個(gè)大笨蛋”這是我定義的aka字符集;各字符對(duì)應(yīng)代碼點(diǎn)為:
北 00000001
京 00000010
香 10000001
蕉 10000010
是 10000100
個(gè) 10001000
大 10010000
笨 10100000
蛋 11000000
中 00000100
國(guó) 00001000
下面是我定義的 zixia 編碼方案(8位),可以看到它的編碼中表示了aka字符集的所有字符對(duì)應(yīng)的 代碼單元;
北 10000001
京 10000010
香 00000001
蕉 00000010
是 00000100
個(gè) 00001000
大 00010000
笨 00100000
蛋 01000000
中 10000100
國(guó) 10001000
所謂文本文件 就是我們按一定編碼方式將二進(jìn)制數(shù)據(jù)表示為對(duì)應(yīng)的文本如 00000001000000100000010000001000000100000010000001000000這樣的文件。我用一個(gè)支持 zixia編碼和aka字符集的記事本打開,它就按照編碼方案顯示為 “香蕉是個(gè)大笨蛋 ”
如果我把這些字符按照GBK另存一個(gè)文件,那么則肯定不是這個(gè),而是
1100111111100011 1011110110110110 1100101011000111 1011100011110110 1011010011110011 1011000110111111 1011010110110000 110100001010

二,字符集
1, 常用字符集分類
ASCII及其擴(kuò)展字符集
作用:表語(yǔ)英語(yǔ)及西歐語(yǔ)言。
位數(shù):ASCII是用7位表示的,能表示128個(gè)字符;其擴(kuò)展使用8位表示,表示256個(gè)字符。
范圍:ASCII從00到7F,擴(kuò)展從00到FF。
ISO-8859-1字符集
作用:擴(kuò)展ASCII,表示西歐、希臘語(yǔ)等。
位數(shù):8位,
范圍:從00到FF,兼容ASCII字符集。
GB2312字符集
作用:國(guó)家簡(jiǎn)體中文字符集,兼容ASCII。
位數(shù):使用2個(gè)字節(jié)表示,能表示7445個(gè)符號(hào),包括6763個(gè)漢字,幾乎覆蓋所有高頻率漢字。
范圍:高字節(jié)從A1到F7, 低字節(jié)從A1到FE。將高字節(jié)和低字節(jié)分別加上0XA0即可得到編碼。
BIG5字符集
作用:統(tǒng)一繁體字編碼。
位數(shù):使用2個(gè)字節(jié)表示,表示13053個(gè)漢字。
范圍:高字節(jié)從A1到F9,低字節(jié)從40到7E,A1到FE。
GBK字符集
作用:它是GB2312的擴(kuò)展,加入對(duì)繁體字的支持,兼容GB2312。
位數(shù):使用2個(gè)字節(jié)表示,可表示21886個(gè)字符。
范圍:高字節(jié)從81到FE,低字節(jié)從40到FE。
GB18030字符集
作用:它解決了中文、日文、朝鮮語(yǔ)等的編碼,兼容GBK。
位數(shù):它采用變字節(jié)表示(1 ASCII,2,4字節(jié))。可表示27484個(gè)文字。
范圍:1字節(jié)從00到7F; 2字節(jié)高字節(jié)從81到FE,低字節(jié)從40到7E和80到FE;4字節(jié)第一三字節(jié)從81到FE,第二四字節(jié)從30到39。
UCS字符集
作用:國(guó)際標(biāo)準(zhǔn) ISO 10646 定義了通用字符集 (Universal Character Set)。它是與UNICODE同類的組織,UCS-2和UNICODE兼容。
位數(shù):它有UCS-2和UCS-4兩種格式,分別是2字節(jié)和4字節(jié)。
范圍:目前,UCS-4只是在UCS-2前面加了0×0000。
UNICODE字符集
作用:為世界650種語(yǔ)言進(jìn)行統(tǒng)一編碼,兼容ISO-8859-1。
位數(shù):UNICODE字符集有多個(gè)編碼方式,分別是UTF-8,UTF-16和UTF-32。
2 ,按所表示的文字分類
語(yǔ)言 字符集 正式名稱
英語(yǔ)、西歐語(yǔ) ASCII,ISO-8859-1 MBCS 多字節(jié)
簡(jiǎn)體中文 GB2312 MBCS 多字節(jié)
繁體中文 BIG5 MBCS 多字節(jié)
簡(jiǎn)繁中文 GBK MBCS 多字節(jié)
中文、日文及朝鮮語(yǔ) GB18030 MBCS 多字節(jié)
各國(guó)語(yǔ)言 UNICODE,UCS DBCS 寬字節(jié)

三,編碼
UTF-8:采用變長(zhǎng)字節(jié) (1 ASCII, 2 希臘字母, 3 漢字, 4 平面符號(hào)) 表示,網(wǎng)絡(luò)傳輸, 即使錯(cuò)了一個(gè)字節(jié),不影響其他字節(jié),而雙字節(jié)只要一個(gè)錯(cuò)了,其他也錯(cuò)了,具體如下:
如果只有一個(gè)字節(jié)則其最高二進(jìn)制位為0;如果是多字節(jié),其第一個(gè)字節(jié)從最高位開始,連續(xù)的二進(jìn)制位值為1的個(gè)數(shù)決定了其編碼的字節(jié)數(shù),其余各字節(jié)均以10開頭。UTF-8最多可用到6個(gè)字節(jié)。

UTF-16:采用2字節(jié),Unicode中不同部分的字符都同樣基于現(xiàn)有的標(biāo)準(zhǔn)。這是為了便于轉(zhuǎn)換。從 0×0000到0×007F是ASCII字符,從0×0080到0×00FF是ISO-8859-1對(duì)ASCII的擴(kuò)展。希臘字母表使用從0×0370到 0×03FF 的代碼,斯拉夫語(yǔ)使用從0×0400到0×04FF的代碼,美國(guó)使用從0×0530到0×058F的代碼,希伯來語(yǔ)使用從0×0590到0×05FF的代碼。中國(guó)、日本和韓國(guó)的象形文字(總稱為CJK)占用了從0×3000到0×9FFF的代碼;由于0×00在c語(yǔ)言及操作系統(tǒng)文件名等中有特殊意義,故很多情況下需要UTF-8編碼保存文本,去掉這個(gè)0×00。舉例如下:
UTF-16: 0×0080 = 0000 0000 1000 0000
UTF-8: 0xC280 = 1100 0010 1000 0000
UTF-32:采用4字節(jié)。
優(yōu)缺點(diǎn)
UTF-8、UTF-16和UTF-32都可以表示有效編碼空間 (U+000000-U+10FFFF) 內(nèi)的所有Unicode字符。
使用UTF-8編碼時(shí)ASCII字符只占1個(gè)字節(jié),存儲(chǔ)效率比較高,適用于拉丁字符較多的場(chǎng)合以節(jié)省空間。
對(duì)于大多數(shù)非拉丁字符(如中文和日文)來說,UTF-16所需存儲(chǔ)空間最小,每個(gè)字符只占2個(gè)字節(jié)。
Windows NT內(nèi)核是Unicode(UTF-16),采用UTF-16編碼在調(diào)用系統(tǒng)API時(shí)無需轉(zhuǎn)換,處理速度也比較快。
采用UTF-16和UTF-32會(huì)有Big Endian和Little Endian之分,而UTF-8則沒有字節(jié)順序問題,所以UTF-8適合傳輸和通信。
UTF-32采用4字節(jié)編碼,一方面處理速度比較快,但另一方面也浪費(fèi)了大量空間,影響傳輸速度,因而很少使用。

四,如何判斷字符集
1,字節(jié)序
首先說一下字節(jié)序?qū)幋a的影響,字節(jié)序分為Big Endian字節(jié)序和Little Endian字節(jié)序。不同的處理器可能不一樣。所以,傳輸時(shí)需要告訴處理器當(dāng)時(shí)的編碼字節(jié)序。對(duì)于前者而言,高位字節(jié)存在低地址,低字節(jié)存于高地址;后者相反。例如,0X03AB,
Big Endian字節(jié)序
0000: 0 3
0001: AB
Little Endian字節(jié)序是
0000: AB
0001: 0 3
2,編碼識(shí)別
UNICODE,根據(jù)前幾個(gè)字節(jié)可以判斷UNICODE字符集的各種編碼,叫做Byte Order Mask方法BOM:
UTF-8: EFBBBF (符合UTF-8格式,請(qǐng)看上面。但沒有含義在UCS即UNICODE中)
UTF-16 Big Endian:FEFF (沒有含義在UCS-2中)
UTF-16 Little Endian:FFFE (沒有含義在UCS-2中)
UTF-32 Big Endian:0000FEFF (沒有含義在UCS-4中)
UTF-32 Little Endian:FFFE0000 (沒有含義在UCS-4中)

GB2312:高字節(jié)和低字節(jié)的第1位都是1。

BIG5,GBK&GB18030:高字節(jié)的第1位為1。操作系統(tǒng)有默認(rèn)的編碼,常為GBK,可以下載別的并升級(jí)。通過判斷高字節(jié)的第1位從而知道是ASCII或者漢字編碼。

轉(zhuǎn)自【 http://blog.minidx.com/2008/12/06/1689.html 】,鳴謝原作者

<!--新Google 468*60橫幅廣告開始--><script type="text/javascript"><!-- google_ad_client = "pub-7343546549496470"; /* 468x60, 創(chuàng)建于 08-8-6 */ google_ad_slot = "7368701459"; google_ad_width = 468; google_ad_height = 60; //--> </script><script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"> </script><!--新Google 468*60橫幅廣告結(jié)束-->

<!--新Google 468x15 橫鏈接單元開始--><script type="text/javascript"><!-- google_ad_client = "pub-7343546549496470"; /* 468x15 橫鏈接單元 */ google_ad_slot = "5785741422"; google_ad_width = 468; google_ad_height = 15; //--> </script><script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"> </script><!--新Google 468x15 橫鏈接單元結(jié)束-->

<!-- Google Reader shared發(fā)布代碼開始 --><script type="text/javascript" src="http://www.google.com/reader/ui/publisher.js"></script><script type="text/javascript" src="http://www.google.com/reader/public/javascript/user/00697638153916680411/state/com.google/broadcast?n=5&amp;callback=GRC_p%28%7Bc%3A%22green%22%2Ct%3A%22%5Cu8FD9%5Cu4E9B%5Cu6587%5Cu7AE0%5Cu4E5F%5Cu503C%5Cu5F97%5Cu4E00%5Cu770B%22%2Cs%3A%22false%22%7D%29%3Bnew%20GRC"></script><!-- Google Reader shared發(fā)布代碼結(jié)束 -->

UTF-8、GB2312、GB18030、GBK和BIG5等字符集編碼范圍的具體說明


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 贵定县| 华坪县| 梧州市| 炎陵县| 民权县| 浮梁县| 宣城市| 铅山县| 澎湖县| 科尔| 兴仁县| 堆龙德庆县| 宜阳县| 瑞安市| 乐山市| 德阳市| 连江县| 环江| 洪江市| 锡林浩特市| 巴青县| 固镇县| 兰考县| 平山县| 山东| 双峰县| 云梦县| 高台县| 天镇县| 长兴县| 海门市| 上犹县| 云梦县| 武夷山市| 长春市| 通河县| 长治市| 广宁县| 开原市| 称多县| 双桥区|