mysql 编码和汉字存储占用字节问题的探索

544 查看

MySql 5.5 之前,UTF8 编码只支持1-3个字节,只支持BMP这部分的unicode编码区,BMP是从哪到哪?
戳这里 基本就是 0000 ~ FFFF 这一区。

从MySQL 5.5 开始,可支持4个字节UTF编码utf8mb4,一个字符最多能有4字节,所以能支持更多的字符集。

utf8mb4 is a superset of utf8

tf8mb4兼容utf8,且比utf8能表示更多的字符。

至于什么时候用,看你做的什么项目了。。。
在做移动应用时,会遇到IOS用户在文本的区域输入emoji表情,如果不做一定处理,就会导致插入数据库异常。

MySql 5.0 以上的版本:

1、一个汉字占多少长度与编码有关:

UTF-8:一个汉字 = 3个字节,英文是一个字节
GBK: 一个汉字 = 2个字节,英文是一个字节
2、varchar(n) 表示n个字符,无论汉字和英文,MySql都能存入 n 个字符,仅实际字节长度有所区别。

3、MySQL检查长度,可用SQL语言 SELECT LENGTH(fieldname) FROM tablename 这个命令可以看到各行使用的字节数。

mysql版本5.6.32-78.0下面用实际例子来说明问题:

  1. 首先创建一张临时用表:

     create TEMPORARY table medivac(
          name VARCHAR(10)
     ); CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci
  1. 插入一些数据:

    INSERT INTO medivac (name) VALUES ('' at line 1
    mysql> INSERT INTO medivac (name) VALUES ('a');
    Query OK, 1 row affected (0.00 sec)
    
    mysql> INSERT INTO medivac (name) VALUES ('哈');
    Query OK, 1 row affected (0.00 sec)
    
    mysql> INSERT INTO medivac (name) VALUES ('\U+1F604');
    Query OK, 1 row affected (0.00 sec)
    
    mysql> INSERT INTO medivac (name) VALUES ('哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈');
    Query OK, 1 row affected, 1 warning (0.00 sec)
  2. 查看表中数据:

    mysql> select * from medivac
        -> ;
    +--------------------------------+
    | name                           |
    +--------------------------------+
    | a                              |
    | 哈                             |
    | ?                               |
    | 哈哈哈哈哈哈哈哈哈哈           |
    +--------------------------------+
  3. 查看占用字节数:

    +--------------+
    | length(name) |
    +--------------+
    |            1 |
    |            3 |
    |            4 |
    |           30 |
    +--------------+
    

没什么好说的 一目了然,注意,如果存储超过字段规定的最大字符数,后面存储的东西会被无视,并且曝出一个warning。详见过程2的信息。

总结:

  1. 一个varchar存汉字需要使用三个字段在utf8和utf8mb4编码表的情况下。

  2. 如果需要存储emoji表情的需求,新表的默认编码方式应该写为utf8mb4。另外提一点在最新发布的mysql8.0里面,默认编码方式已经是utf8mb4了。

  3. 在utf8和utf8mb4中 varchar(n)这个n是字符,所见即所得,一个a是一个字符一个?也是一个字符 不过就是a这个字符是1个字节 哈这个字符是3个字节 而?这个字符是4个字节表示罢了

Reference:

https://www.tutorialspoint.co... MySQL Temporary Tables

https://ruby-china.org/topics... MySQL 数据库 varchar 到底可以存多少个汉字,多少个英文呢?我们来搞搞清楚