【技能篇】python读取文件、实体抽取

最新推荐文章于 2021-09-26 17:52:27 发布

原创

最新推荐文章于 2021-09-26 17:52:27 发布 · 3.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#关键词抽取 #python #中文分词 #自然语言处理

这篇博客展示了如何使用Python进行实体抽取和文件读取操作。通过读取"data.csv"文件并处理其中的证券名称和号码，实现了将特定字符串替换为预定义实体的功能。主要涉及gensim库和自定义的filterdict、file2dict、sorttext等函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近写了一个实体抽取，并且相应的实体填充预处理方案，代码如下（初步实现方案，后期会持续优化代码），完成所有功能会上传至Github上。

import os
import gensim

def main():
word_list = ['平安银行', '000002', '测试', '买入']
#填充实体列表
entity_list = ['entity1', 'entity2']
sorttext(word_list, entity_list)

#根据用户问句分词，并将其作为首元素返回
def sorttext(word_list, entity_list): #wordset表示分词集合，dict表示file2Dict结果
return_list = []
all_dict = filterdict()
for item in word_list:
for key in all_dict:
if key != item:
continue
else:
return_list.append(all_dict[key])
word_list[word_list.index(item)] = entity_list[0]