文本分词

最新推荐文章于 2024-09-20 07:44:46 发布

争做藤校学子

最新推荐文章于 2024-09-20 07:44:46 发布

阅读量249

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_42489214/article/details/90339919

博客聚焦于文本分词，文本分词是自然语言处理中的重要环节，它能将文本切分成有意义的词语，为后续的语义分析、文本分类等任务奠定基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
"""
Created on Wed Jul 11 13:25:13 2018

@author: Nancy~
"""

import requests
import urllib
import json

def get_access_token():
    host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=De2cr4FTYqhH0hwe4GizCpa4&client_secret=GzwzYGopzZA16LQWQ9OLG3k58P4WRZLm'
    request = urllib.request.Request(host)
    request.add_header('Content-Type', 'application/json; charset=UTF-8')
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    rdata = json.loads(content)
    return rdata['access_token']
    
sentence="2016年2月14日，徐荣霞与常代峰向东台市人民法院诉讼离婚，后经东台法院判决双方离婚，婚生子常凯随常代峰生活，徐荣霞自2016年2月起每月给付抚养费300元至婚生子独立生活时止，该款分别于每年的6月30日前和12月30日前给付。因徐荣霞未按判决履行，常凯向东台法院申请强制执行。"
url='https://aip.baidubce.com/rpc/2.0/nlp/v1/lexer?access_token='+get_access_token()
headers={"Content-Type":"application/.json"}
data={
    "text":sentence
}
data=json.dumps(data).encode('GBK')
request_res=requests.request('post',url,headers=headers,data=data)
content=request_res.text
content=json.loads(content)
bd_list=[]
for a in content['items']:
    bd_list.append(a['item'])
print("  ".join(bd_list))