non-ASCII / Chinese table name

[ghost]

2021-07-05T17:50:39.414+0800 [WARN] client.driver_mgr.dtle: ValidateOriginalTable error: driver=dtle table=tbl_order——_copy @module=dtle.extractor err="Error 1146: Table 'test.tbl_order??_copy' doesn't exist" job=testenv0 schema=test timestamp=2021-07-05T17:50:39.413+0800

[ghost]

golang中 for range stringVar 的坑:

• 按照unicode编码点来枚举, 而非byte

s := "a中文"
for i, v := range s {
    stringVar[i] // byte
    v // rune
}

[ghost]

2 增量过程中以非utf8执行DDL, 含non-ASCII表名

    2022-03-17T18:24:16.533+0800 [DEBUG] client.driver_mgr.dtle: query event: driver=dtle query="create table `s����`.`t4����` (id int)" schema= @module=reader job=a1-migration timestamp=2022-03-17T18:24:16.532+0800
    2022-03-17T18:24:16.533+0800 [INFO]  client.driver_mgr.dtle: Skip QueryEvent: driver=dtle currentSchema= gno=115618 job=a1-migration sql="create table `s����`.`t4����` (id int)" tableName=t4ÖÐÎÄ @module=reader realSchema=sÖÐÎÄ timestamp=2022-03-17T18:24:16.533+0800

问题: job.hcl使用UTF8. dtle不认为乱码库表名属于复制范围.

[ghost]

构造一个混合encoding的DDL并执行

echo 'set names gbk;' > create.sql
echo 'create table s中文.tdef (id中文 int primary key auto_increment,' | iconv -t gbk >> create.sql
echo ' val varchar(50) default _utf8mb4"aa中文");' >> create.sql

mysql -h ... < create.sql

binlog QueryEvent中以原始语句记录. QueryEvent.StatusVars中doc, character_set_client=28, 即gbk.

[ghost]

以gbk DDL为例:

方案1: 全面转换为UTF8, 以UTF8执行

• 保持introducer字符串如_sjis"あああ"为原始编码
• 转换AST中库/表/列名和comment等

方案2: 将库表列名转换为UTF8进行复制范围比较. 保留原文, 以gbk执行.

• sqle 需要UTF8的AST
• 注意Rename要转换回gbk

[ghost]

综合考虑, 决定使用方案1, 并作如下限制:

• 对于非UTF8(MB4)的DDL, 如GBK, 不支持DDL中使用encoding introducer (如_sjis"あああ").
  • 如果使用, 会产生乱码/数据不一致.

[asiroliu]

增加测试用例覆盖范围，在已有的ddl测试用例上增加中文字符用例，包含一下范围：

• 库名
• 表名
• 列名
• 索引名
• rename 中文表名
• truncate 中文表名
• VIEW
• FUNCTION
• PROCEDURE
• EVENT
• TRIGGER