jieba分词笔记

• jieba的特性:
  • 支持多种分词模式
    • 精确模式
    • 全模式
    • 搜索引擎模式
  • 支持中文繁体分词
  • 支持用户自定义词典

• 精确模式分词:
  • 试图将句子最精确地切开，适合文本分析.

  >>> import jieba
  >>> content = "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"
  >>> jieba.cut(content, cut_all=False)  # cut_all默认为False
  
  
  # 若需直接返回列表内容, 使用jieba.lcut即可
  >>> print(jieba.lcut(content, cut_all=False))
  ['工信处', '女干事', '每月', '经过', '下属', '科室', '都', '要', '亲口', '交代', '24', '口', '交换机', '等', '技术性', '器件', '的', '安装', '工作']

• 全模式分词:
  • 把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能消除 歧义.

  >>> import jieba
  >>> content = "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"
  >>> jieba.cut(content, cut_all=True)  # cut_all默认为False
  
  
  # 若需直接返回列表内容, 使用jieba.lcut即可
  >>> print(jieba.lcut(content, cut_all=True))
  ['工信处', '处女', '女干事', '干事', '每月', '月经', '经过', '下属', '科室', '都', '要', '亲口', '口交', '交代', '24', '口交', '交换', '交换机', '换机', '等', '技术', '技术性', '性器', '器件', '的', '安装', '安装工', '装工', '工作']

• 搜索引擎模式分词:
  • 在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词.

  >>> import jieba
  >>> content = "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"
  >>> jieba.cut_for_search(content)
  
  
  # 若需直接返回列表内容, 使用jieba.lcut_for_search即可
  >>> priint(jieba.lcut_for_search(content))
  ['工信处', '干事', '女干事', '每月', '经过', '下属', '科室', '都', '要', '亲口', '交代', '24', '口', '交换', '换机', '交换机', '等', '技术', '技术性', '器件', '的', '安装', '工作']
  
  # 对'女干事', '交换机'等较长词汇都进行了再次分词.

• 中文繁体分词:
  • 针对中国香港, 台湾地区的繁体文本进行分词.

  >>> import jieba
  >>> content = "煩惱即是菩提，我暫且不提"
  >>> print(jieba.lcut(content))
  ['煩惱', '即', '是', '菩提', '，', '我', '暫且', '不', '提']

• 使用用户自定义词典:
  • 添加自定义词典后, jieba能够准确识别词典中出现的词汇，提升整体的识别准确率.
    • 词典格式: 每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒.
    • 词典样式如下, 具体词性含义请参照附录: jieba词性对照表, 将该词典存为userdict.txt, 方便之后加载使用.

    云计算 5 n
    
    李小福 2 nr
    
    easy_install 3 eng
    
    好用 300
    
    韩玉赏鉴 3 nz
    
    八一双鹿 3 nz

    >>> import jieba
    >>> jieba.lcut("八一双鹿更名为八一南昌篮球队！")
    # 没有使用用户自定义词典前的结果:
    >>> ['八', '一双', '鹿', '更名', '为', '八一', '南昌', '篮球队', '！']
    
    
    >>> jieba.load_userdict("./userdict.txt")
    # 使用了用户自定义词典后的结果:
    ['八一双鹿', '更名', '为', '八一', '南昌', '篮球队', '！']