检查字符串的输入是何种语言-通过unicode代码点进行判断

上一篇文章，这里介绍了如何手动编写程序判断字节串的输入是何种编码方式，有了编码之后，就可以解码成为对应的字符串，然后判断对应的语言类型，本节简单介绍一下如何判断语言类型。

Python实际上将字符串和字节串做了严格的区分。字节串可以理解为字符对应的存储形式，比如’你好’这两个字符，其对应的utf8以及gb2312编码后的字节串也就是码流(长度和对应的值)是不一样的，即同样的字符串有不同的表现形式。而字符’你好’无论在何种情况下表示的还是这两个字符，其本身所表示的含义不会因为编码方式的不同而发生变化。Python对于任何编码类型的字符串输入，需要首先转换为python内部的字符串表示形式，而python内部采用unicode的代码点表示字符串。因此首先将输入的字节串从utf8(假设字节串采用的是utf8编码)转换为unicode代码点。由于汉字和英文在unicode中都是有对应的代码点范围，英文是0x00-0x7F，中文是0x4e00-0x9fff。因此可以根据unicode代码点的不同判断是何种语言。如下：

def is_chinese(text):

    for ch in str:
        if u'\u4e00' <= ch <= u'\u9fff':
            continue
        else:
            return False 
    return True

def is_english(text):

    for ch in str:
        if u'\u0000' <= ch <= u'\u007F':
            continue

        else:
            return False 
    return True

但是改种方式有一个问题在于不同的语言在相互包含的时候会出现问题，比如汉语中出现了一个英文的逗号，其判定结果就不会是中文。或者中文中包含了一些常用的英文，比如iphone，这个时候的判断就会出现问题。那么面对这样的场景，本文的方法就不在适用，我将在后续的文章中采用一些高效的开源模块进行分享。

本文为优快云村中少年原创文章，转载记得加上小尾巴偶，博主链接这里。