检查一段文字是何种语言-通过谷歌langdetect进行判断

本文链接：https://blog.youkuaiyun.com/javajiawei/article/details/95061142

上一篇介绍了使用python自带的chardet检测文本使用的是何种语言，存在一个问题就是，很多时候chardet的输出是空，不是特别的好用。

这个时候可以使用google提供的一个开源语言检测软件包langdetect。个人在实际的使用过程中检测效果还是非常的不错，该软件包支持绝大多数的常见语种。链接这里：

如下示例检测文本是否是英文，输入为字节串：

def is_english(text):
    from langdetect import detect
    from langdetect import detect_langs
    # 文本过短时，判断结果会不确定；让输出唯一，添加以下两行
    from langdetect import DetectorFactory
    DetectorFactory.seed = 0

    try:
        data = text.decode('utf-8')
        # 判断语言种类
        # 概率
        print(detect_langs(data))
        print(detect(data))
        
        if detect(data) == 'en':
            return True
            
    except Exception as e:
        print('is_english exception')
    
    return False

可以看到输出的结果也是有概率的，当然为了只输出概率最大的那个语种，需要添加示例中的两行，如下：

from langdetect import DetectorFactory
DetectorFactory.seed = 0

如果没有这两行，输出可能会有多种可能。但是在后续的测试中发现，langdetect检测中文还是非常的不准确，例如使用’天津’这两个字符进行测试，得到的结果竟然是ko韩语，这误报率有点高，还是使用unicode码点正确率高。

本文为优快云村中少年原创文章，转载记得加上小尾巴偶，博主链接这里。