python中文分字英文分词程序

梦无痕123

于 2022-04-25 18:08:43 发布

阅读量1.2k

点赞数

文章标签：人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/lb521200200/article/details/124411074

版权

def wordSeg(str):
   english = 'abcdefghijklmnopqrstuvwxyz0123456789'
   output = []
   buffer = ''
   #str=str.lower()
   for s in str:
      if s in english or s in english.upper(): #英文或数字
         buffer += s
      else: #中文
         if buffer:
            output.append(buffer)
         buffer = ''
         output.append(s)
   if buffer:
      output.append(buffer)
   return output

str = '我叫Xiaoming，来自山东，今年2岁了，今天星期一，大家早上好，Good morning'
print(wordSeg(str))