建站之星换模板,网站地图怎么建设,做外贸翻译用那个网站,建设网站的公司兴田德润在哪里基础概念
字符 字符是各种文字和符号的总称#xff0c;包括各国家文字、标点符号、图形符号、数字等 字符集 一个操作系统支持的字符的集合。 字符编码和解码 将每个字符都设置一个唯一编号#xff0c;编码就是将字符集中的字符编号以一定形式转化为字节存储下来#xff0c… 基础概念
字符 字符是各种文字和符号的总称包括各国家文字、标点符号、图形符号、数字等 字符集 一个操作系统支持的字符的集合。 字符编码和解码 将每个字符都设置一个唯一编号编码就是将字符集中的字符编号以一定形式转化为字节存储下来解码则反之将存储的字节转换为某个字符集的字符编号。 关于屏幕上的字符显示其实显示的是字形码将某字符集的编号和字形一一对应忽略字体则可以在屏幕上显示字符。 例如ASCII和GB系列它们即是字符集也是编码方案即表示它们的字符编码和存储的一样但Unicode只是字符集UTF-8一系列是编码方案。 ASCII ASCII使用一个字节表示一个字符包含所有大小写英文字母、数字0-9和一些符号等实际只用了7位最高位固定位0范围为0x00~0x7F0~127共表示128字符。常用于美国和以英语为主的国家。 有个经常用到的技巧由于大小写字母对应的ASCII的值相差32所以小写字母转大写字母只需要 小写字母的ASCII值减去32 就可得到该字母的大写。a是97A是65 附ASCII码表
ISO-8859-1 别名Latin1常用于描述北美和西欧语言也是使用一个字节描述一个字符范围为0x00~0xFF0~255其中0x00~0x7F和ASCII码一样0x80-0x9F之间是控制字符0xA0-0xFF之间是一些文字符号。 附ISO-8859-1码表
中文编码GB系列
GB2312 全称《信息交换用汉字编码字符集·基本集》是中国第一个汉字编码标准GB是国标的首字母共收录了 6763 个常用的汉字和字符其中一级汉字3755个 二级汉字3008个 同时收录了包括 拉丁字母、 希腊字母、 日文、平假名及片假名字母、 俄语在内的682个字符。 GB2312是双字节编码一个字符用两个字节表示第一个字节称为高位字节0xA1~0xF7第二个字节称为低位字节0xA1~0xFE。为了兼容ASCII两个字节的最高位都为1。 整个字符集分为9401~94个区每个区又分为9401~94位第88~94区未使用。 区位码 总共有 94 个区每个区含有 94 个汉字或者字符每个汉字或者字符都对应一个分区编号和分区内的位置编号称为区位码。 国标码 国标码也叫交换码用于交换文件所使用的编码在早期不同的操作系统可能使用不同的内码如果它们之间要交换文件则会发生乱码的现象当时的解决方法是交换文件之前先转成交换码再交换接收者收到之后再转成内码。交换码是比较早期的一种方案目前系统大都采用内码作为交换码。 ASICII 码为 0-31 的这 32 个字符是不可显示的字符为了避免和这些字符的码点冲突将 分区编号和分区内位置编号都加上32 把这个转换的结果称为国标码。 比如汉字 中 字分区编号是 54分区内位置编号是 48加上 32 之后分区编号是 54 32 86分区内位置编号是 48 32 80所以 中 字 的国标码是 86 80 内码 国标码和ASICII码还是存在一定的重复比如中 字的国标码是 86 80对应第一个字节是 86第二个字节是80而在ASICII 码中它们分别代表大写字母V和大写字母P这就无法区分它们到底是一个汉字还是两个字母。 为了兼容ASCII把国标码中的每个字节的最高位置为 1还是以 中 字为例它的国标码是 86 80加上128后第一个字节是86 128 214第二个字节是 80 128 208转化成 16 进制是 0xD6 0xD0。 国标码的每个字节都加上 128 后得到国标码的机内码简称内码汉字是以内码的形式在计算机中存储和传播的。 附GB2312码表
GBK 全称 《汉字内码扩展规范》共收录了两万多个汉字和字符完全兼容 GB2312增加了一些人名、繁体字、日语和朝鲜语中的汉字利用了GB2312未使用的编码空间。GBK并不是国家标准。 编码范围: 第一个字节 0x81–0xFE第二个字节 0x40–0xFE。 附GBK码表
GB18030 全称国家标准GB 18030-2005《信息技术 中文编码字符集》共收录70244个汉字和字符在GBK的基础上增加了中日韩语中的汉字和少数名族的文字及字符完全兼容 GB2312基本兼容 GBK。 GB18030 是变长多字节字符集每个字或字符可以由一个两个或四个字节组成。编码空间庞大最多可定义161万个字符。 为了兼容GBK前两个字节和GBK保持一致。 Unicode万国码 Unicode编码系统为表达任意语言的任意字符而设计。它使用4字节的数字来表达每个字母、符号或者表意文字(ideograph)。每个数字代表唯一的至少在某种语言中使用的符号。 Unicode仅仅是字符集它只规定了字符的唯一编号编码是用UTF-8、UTF-16等编码格式。 实际上如果每个字符都用Unicode规定的4字符那绝对是非常浪费的所以UTF系列对Unicode做了一定压缩和转换。 Unicode共分为17个plane组plane0称为基本平面其他的称为扩展平面数字范围是0~0x10FFFF每一个数字就是一个代码点Code point。 UTF-8 变长编码格式1~4字节是Unicode的一种实现。将代码点转为二进制bit不够位数左侧补0。为了解决字符间分隔即到底几个字节表示一个字符采用字节的最高位连续1的个数决定。如下表这种格式比较省空间第一段和ASCII相同 代码段编码0x000000~0x00007F0xxxxxxx0x000080~0x0007FF110xxxxx 10xxxxxx0x000800~0x00FFFF1110xxxx 10xxxxxx 10xxxxxx0x010000~0x10FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
UTF-16 UTF-16使用2个或4个字节其中2个字节表示基本平面4个字节表示扩展平面。为了解决字符分隔将基本平面的两段代码点保留不表示任意字符。 110110xxxxxxxxxx0xD800~0xD8FF为高位代理 110111xxxxxxxxxx0xDC00~0xDFFF为低位代理 如果下两个字节以这俩开头那么表示该字符是扩展平面的需要读取4个字节否则就是基本平面的读取2个字节。 代码段编码0x000000~0x00FFFFxxxxxxxx xxxxxxxx0x010000~0x10FFFF110110yy yyyyyyyy 110111xx xxxxxxxx
UTF-32 UTF-32使用4个字节存储代码点将代码点转为32位bit位数不够左侧补0。 代码段编码0x000000~0x10FFFFxxxxxxxx xxxxxxxx xxxxxxxx xxxxxxxx 字节序ByteOrder Mark 也叫大小端BELE超过2个字节就涉及到存储时高字节放在高地址还是低地址的问题。如果高位字节在高地址低位字节在低地址那么称为小端反之称为大端。 例如 0x1234大端模式 低地址--高地址 0x12 0x34 小端模式 低地址--高地址 0x34 0x12 字节序一般放在文件的开始标记高位在前还是低位在前。UTF-8可以没有字节序。字节序如下表 编码格式字节序UTF-8EF BB BFUTF-16 LEFF FEUTF-16 BEFE FFUTF-32 LEFF FE 00 00UTF-32 BE00 00 FE FF
