深入剖析JSP和Servlet对中文的处理过程

　世界上的各地区都有本地的语言。地区差异直接导致了语言环境的差异。在开发一个国际化程序的过程中，处理语言问题就显得很重要了。

　　这是一个世界范围内都存在的问题，所以，Java提供了世界性的解决方法。本文描述的方法是用于处理中文的，但是，推而广之，对于处理世界上其它国家和地区的语言同样适用。

　　汉字是双字节的。所谓双字节是指一个双字要占用两个BYTE的位置(即16位)，分别称为高位和低位。中国规定的汉字编码为GB2312，这是强制性的，目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号，高位从0xa1到0xfe，低位也是从0xa1到0xfe，其中，汉字的编码范围为0xb0a1到0xf7fe。

　　另外有一种编码，叫做GBK，但这是一份规范，不是强制的。GBK提供了20902个汉字，它兼容GB2312，编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。

　　在不久的将来，中国会颁布另一种标准：GB18030-2000(GBK2K)。它收录了藏、蒙等少数民族的字型，从根本上解决了字位不足的问题。注意：它不再是定长的。其二字节部份与GBK兼容，四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe，二字节和第四字节从0x30到0x39。

　　本文不打算介绍Unicode，有兴趣的可以浏览“http://www.unicode.org/”查看更多的信息。Unicode有一个特性：它包括了世界上所有的字符字形。所以，各个地区的语言都可以建立与Unicode的映射关系，而Java正是利用了这一点以达到异种语言之间的转换。

　　在JDK中，与中文相关的编码有：　　

编码名称 　　说　　　　明　　ASCII  　　7位，与ascii7相同  　　ISO8859-1  　　8-位，与 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同  　　GB2312-80  　　16位，与gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同  　　GBK  　　与MS936相同，注意：区分大小写  　　UTF8  　　与UTF-8相同  　　GB18030  　　与cp1392、1392相同，目前支持的JDK很少  　　在实际编程时，接触得比较多的是GB2312(GBK)和ISO8859-1。

编码名称

　　　　为什么会有“?”号

　　上文说过，异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B，转换的步骤为：先把A转化为Unicode，再把Unicode转化为B。

　　举例说明。有GB2312中有一个汉字“李”，其编码为“C0EE”，欲转化为ISO8859-1编码。步骤为：先把“李”字转化为Unicode，得到“674E”，再把“674E”转化为ISO8859-1字符。当然，这个映射不会成功，因为ISO8859-1中根本就没有与“674E”对应的字符。

　　当映射不成功时，问题就发生了!当从某语言向Unicode转化时，如果在某语言中没有该字符，得到的将是Unicode的代码“\uffffd”(“\u”表示是Unicode编码，)。而从Unicode向某语言转化时，如果某语言没有对应的字符，则得到的是“0x3f”(“?”)。这就是“?”的由来。

　　例如：把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作，得到的结果是“\ufffd\u554a”，再println出来，得到的结果将是“?啊”，因为“0x80 0x40”是GBK中的字符，在GB2312中没有。

再如，把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"进行new String (buf.getBytes("GBK"))操作，得到的结果是“3fa8aca8a6463fa8b4”，其中，“\u00d6”在“GBK”中没有对应的字符，得到“3f”，“\u00ec”对应着“a8ac”，“\u00e9”对应着“a8a6”，“0046”对应着“46”(因为这是ASCII字符)，“\u00bb”没找到，得到“3f”，最后，“\u00f9”对应着“a8b4”。把这个字符串println一下，得到的结果是“?ìéF?ù”。看到没?这里并不全是问号，因为GBK与Unicode映射的内容中除了汉字外还有字符，本例就是最好的明证。

　　所以，在汉字转码时，如果发生错乱，得到的不一定都是问号噢!不过，错了终究是错了，50步和100步并没有质的差别。

　　或者会问：如果源字符集中有，而Unicode中没有，结果会如何?回答是不知道。因为我手头没有能做这个测试的源字符集。但有一点是肯定的，那就是源字符集不够规范。在Java中，如果发生这种情况，是会抛出异常的。

　　什么是UTF

　　UTF，是Unicode Text Format的缩写，意为Unicode文本格式。对于UTF，是这样定义的：

　　(1)如果Unicode的16位字符的头9位是0，则用一个字节表示，这个字节的首位是“0”，剩下的7位与原字符中的后7位相同，如“\u0034”(0000 0000 0011 0100)，用“34” (0011 0100)表示;(与源Unicode字符是相同的);

　　(2)如果Unicode的16位字符的头5位是0，则用2个字节表示，首字节是“110”开头，后面的5位与源字符中除去头5个零后的最高5位相同;第二个字节以“10”开头，后面的6位与源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101)，转化后为“c99d”(1100 1001 1001 1101);

　　(3)如果不符合上述两个规则，则用三个字节表示。第一个字节以“1110”开头，后四位为源字符的高四位;第二个字节以“10”开头，后六位为源字符中间的六位;第三个字节以“10”开头，后六位为源字符的低六位;如“\u9da7”(1001 1101 1010 0111)，转化为“e9b6a7”(1110 1001 1011 0110 1010 0111);

　　可以这么描述JAVA程序中Unicode与UTF的关系，虽然不绝对：字符串在内存中运行时，表现为Unicode代码，而当要保存到文件或其它介质中去时，用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。

　　好了，基础性的论述差不多了，下面进入正题。

　　先把这个问题想成是一个黑匣子。先看黑匣子的一级表示：　

input(charsetA)->process(Unicode)->output(charsetB)

　　简单，这就是一个IPO模型，即输入、处理和输出。同样的内容要经过“从charsetA到unicode再到charsetB”的转化。

　　再看二级表示：

　　SourceFile(jsp,java)->class->output

　　在这个图中，可以看出，输入的是jsp和java源文件，在处理过程中，以Class文件为载体，然后输出。再细化到三级表示：　　

jsp->temp file->class->browser,os console,db 　　app,servlet->class->browser,os console,db

　　这个图就更明白了。Jsp文件先生成中间的Java文件，再生成Class。而Servlet和普通App则直接编译生成Class。然后，从Class再输出到浏览器、控制台或数据库等。