Python r”\" SyntaxError 问题分析

502 查看

这是前几天偶尔碰到的问题, 发现跟自己的对python理解不一致, 于是网上搜了下, 说是Python的Bug(不过文档上是有说过说不支持的) 正好最近在看python源码, 于是就通过源码分析了下.

1. 首先，说下问题:

"\"在python字符串中算特殊字符, 起转义作用, \n转义n变回车, \转义\等等，这个应该没啥问题. 那么正常情况下a="\" 是存在语法问题, 因为\转义了右边的"，所以字符串少一个右括号，错误原因很明显了. 但是python(很作死的)有个r操作符(全称原始字符串操作符), 就是对字符串内的内容按字面意思解析，不做特殊处理，所以如果a=r"\n" 输出的就是"\n"，而不是回车，为什么是"\", goto 1 再看看. 那么现在问题来了, 按r的功能, a=r"\", 应该没问题，因为在r的场子里，\是不能转义"，但是现在还是给你一个语法错误,syntaxError.

2. 然后，我想说:

其实我刚才说错了, 这不是一个语法错误, 这tmd是个词法错误.(略装B的说法，语法词法概念模糊的可以网上稍微看下). 为什么这么说, 跟了下python的源码，发现问题出在Parser\tokenizer.c内, python对字符串对象的词法解析部分.代码如下:

/* String */
letter_quote:
    if (c == '\'' || c == '"') {  
        Py_ssize_t quote2 = tok->cur - tok->start + 1;  
        int quote = c;  
        int triple = 0;  
        int tripcount = 0;  
        for (;;) {  
            c = tok_nextc(tok);  
            if (c == '\n') {  
                if (!triple) {  
                    tok->done = E_EOLS;  
                    tok_backup(tok, c);  
                    return ERRORTOKEN;  
                }  
                tripcount = 0;  
                                tok->cont_line = 1; /* multiline string. */  
            }  
            else if (c == EOF) {  
                if (triple)  
                    tok->done = E_EOFS;  
                else  
                    tok->done = E_EOLS;  
                tok->cur = tok->inp;  
                return ERRORTOKEN;  
            }  
            else if (c == quote) {  
                tripcount++;  
                if (tok->cur - tok->start == quote2) {  
                    c = tok_nextc(tok);  
                    if (c == quote) {  
                        triple = 1;  
                        tripcount = 0;  
                        continue;  
                    }  
                    tok_backup(tok, c);  
                }  
                if (!triple || tripcount == 3)  
                    break;  
            }  
            else if (c == '\\'  ) {  
                tripcount = 0;  
                c = tok_nextc(tok);  

                if (c == EOF) {  
                    tok->done = E_EOLS;  
                    tok->cur = tok->inp;  
                    return ERRORTOKEN;  
                }  
            }  
            else  
                tripcount = 0;  
        }  
        *p_start = tok->start;  
        *p_end = tok->cur;  
        return STRING;  
    }

其实蛮简单的.
几个地方需要扯一下:

是letter_quote:这个跳转标签，请关注之，最后揭晓.
tok_nextc从输入流中获取下一个字符.
tok_backup将字符放回输入流去.
triple 和tripcount这两个变量跟三引号处理有关,triple标记现在是否处于三引号模式, 等于1时,说明当前处于三引号模式, tripcount记录连续的引号数.

Ok，剩下的有点c基础的就可以啃了.
这里简单分析下, if (c == '\'' || c == '"')当前字符是'或"进入字符串对象的词法解析过程了，所以python支持'和"两种引号字符。在for循环一共有4个else if，其实就是说明python的字符串有4类特殊字符。

\n回车. 如果在非三引号模式下，检测到回车后,设置下相应的错误码, 然后返回失败, 相关的错误定义如下:
```
#define E_EOFS      23  /* EOF in triple-quoted string */  
#define E_EOLS      24  /* EOL in single-quoted string */
```
这搞的好像在单引号模式下，不能输回车试的，但是有点python经验的都知道行尾加个\就可以输入回车, 在下一行重头再来.是的, 请记住, 要输入#. 从中也可以看出，在三引号模式下, 回车是可以随便输的.
EOF文件尾（输入流停水了). 这个简单除暴了，根据当前模式，设置下错误码，然后返回失败。
quote引号. 先跳过if (tok->cur - tok->start == quote2). 单看if (!triple || tripcount == 3). 如果没在三引号模式下，又"摸到"个quote，那当前这个字符串词法解析就完了, break出去，一个字符串就ko了（尼玛，略简单的说）. 回过头说下if (tok->cur - tok->start == quote2) 这个，就是判断三引号的地方了.跟本文核心内容无关, 就不扯了哈.
'\',终于到这货了. 处理也很简单, 核心就是c = tok_nextc(tok), 把的下个字符从输入流里取了,其他什么都不管. 因为还在词法阶段，没法解析转义字符.那么现在很多问题找到答案:
- 加个\，单行模式可以输入回车了，因为python在解析到一个\后，直接把后面的回车从输入流里取出来了, 同时也说明，回车一定要紧跟\后面，因为\只取他后面的一个字符.
- "\"为什么失败, 应为解析到\后，\把"取走了.那么下面的解析时，面对的就是\n，所以Syntax EOL in single-quoted string
ok, python对string对象的词法解析就这样了. 那么扯了这么多, 还没提r操作符，在词法阶段，他的处理很偷懒，代码如下:
```
case 'r':  
case 'R':  
 c = tok_nextc(tok);  
 if (c == '"' || c == '\'')  
 {  
     goto letter_quote;  
 }
```
尼玛, 就是一个goto 到字符串解析部分了. (?:啥表情也不做，就把活甩给别人了? r:词法分析阶段，老子能干嘛!!!). 因为r原始操作符, 应该属于python语法上内容, 所以词法分析阶段，他的处理方式就是常规字符串的处理方式(r:赞一个). 所以面对"\"时,也要报个Syntax EOL in single-quoted string.

3. 后话

其实解决这个问题还是很简单的, 加个标示变量

int bInRMode = 0;  

case 'r':  
case 'R':  
    c = tok_nextc(tok);  
    if (c == '"' || c == '\'')  
    {  
        bInRMode = 1; //设置下标示位  
        goto letter_quote;  
    }
    else if (c == '\\' ) {  
    tripcount = 0;  
    c = tok_nextc(tok);  
    if (c == EOF) {  
        tok->done = E_EOLS;  
        tok->cur = tok->inp;  
        return ERRORTOKEN;  
    }  
    if( c !='\n' && bInRMode){  
        tok_backup(tok ,c);  
    }  
}

在解析\时, 需要特殊处理下. 应为r模式下, \应该是普通字符，不应该有取下个字符的功能，所以我加个代码把取的字符又塞回去了. 本来在else if (c == '\')这里可以直接处理的，但是如果不对回车特殊处理，那单引号模式下就不能通过\输回车了，所以对\后接\n,又不采用r的功能了.