NLP
关注
分享
扫一扫
自然语言处理
颹蕭蕭
这个作者很懒，什么都没留下…
展开
-
Transformer模型量化加速
限制pytorch线程数=4测试向量计算速度。原创 2024-09-02 14:39:39 · 589 阅读 · 0 评论 -
transformers pipeline aggregation_strategy处理非BIO输出格式的模型
输出结果但是如果想使用simple聚合策略，会发现聚合失败原因就是simple聚合策略只支持BI聚合，不支持BIE聚合。原创 2024-08-13 18:07:07 · 367 阅读 · 0 评论 -
多核并行加速 tokenizer
tqdm 监控任务进度。原创 2024-07-16 14:00:23 · 469 阅读 · 0 评论 -
BERT ner 微调参数的选择
针对批大小和学习率01。原创 2024-05-21 14:24:02 · 953 阅读 · 0 评论 -
ner pipeline 超长文本处理
在使用transformer模型做NER识别时，通常会用上pipeline因此非常有必要对超长文本分批处理，每次处理部分，最后合并结果。原创 2024-05-20 20:44:21 · 356 阅读 · 1 评论 -
NER 数据集格式转换
某些地方的数据和标签拆成两个文件了tags.txt。原创 2024-05-20 19:49:16 · 326 阅读 · 0 评论 -
NER 评价指标计算
【代码】NER 评价指标计算。原创 2024-05-14 19:00:39 · 288 阅读 · 0 评论 -
spacy NER 位置信息不考虑空格！！！
令人震惊和愤怒的是三次结果输出的位置是一样的！spacy居然先把空格过滤了再输出位置。虽然输出的实体位置不是真实的位置，但displacy渲染结果都是对的。原创 2024-05-14 18:37:06 · 206 阅读 · 0 评论 -
基于模板生成 NER 训练数据
模板中的标记作为占位符，用实际的数据去填充。原创 2024-05-14 10:12:27 · 507 阅读 · 0 评论 -
spacy微调BERT-NER模型
spacy 微调 bert ner 模型，使用 gpu原创 2024-05-13 21:44:16 · 580 阅读 · 0 评论 -
spacy.prefer_gpu 失败
参考：https://github.com/explosion/spaCy/discussions/10441。参考：https://spacy.io/usage。检查正确的spacy cuda版本。检查一下脚本是否正常执行。原创 2024-05-11 15:34:33 · 399 阅读 · 0 评论 -
手把手教你用 spacy3 训练中文NER
手把手教你用自己的语料训练spacy的NER模型原创 2024-05-12 12:08:51 · 1222 阅读 · 2 评论 -
CRF++ 中文NER
如何使用CRF++工具来训练一个中文命名实体识别（NER）模型原创 2024-05-11 11:21:16 · 449 阅读 · 0 评论 -
使用规则进行命名实体识别（NER）
基于规则的NER方法是一种古老但依然有其价值的方法。它在特定场景下，如领域文本处理、实时应用等，具有不可替代的优势。然而，随着深度学习技术的发展，基于规则的NER方法正逐渐被基于模型的方法所取代。未来，如何将规则的方法与模型的方法相结合，发挥各自的优势，是一个值得探索的方向。原创 2024-05-10 11:10:47 · 1441 阅读 · 0 评论 -
bert-NER 转化成 onnx 模型
BERT-NER 转化成 onnx 模型原创 2024-05-09 20:52:06 · 486 阅读 · 0 评论 -
spacy displacy 展示 NER 结果
ner 可视化原创 2024-05-09 14:35:46 · 215 阅读 · 0 评论 -
BGE 模型转 onnx
bert 模型 转 onnx原创 2024-04-23 16:21:51 · 1956 阅读 · 0 评论 -
BERT-CRF 微调中文 NER 模型
pytorch BERT CRF NER原创 2024-04-23 15:41:15 · 1185 阅读 · 0 评论 -
BERT tokenizer 增加全角标点符号
bert 的词表，哪怕是 bert-base-chinese，对中文全角标点的支持不是很好。文件里把这些标点加上。直接替换 [unused] token 即可。因此在微调bert时，需要在。原创 2024-04-22 19:03:57 · 445 阅读 · 0 评论 -
BERT 微调中文 NER 模型
BERT 微调 NER 模型原创 2024-04-16 21:26:29 · 709 阅读 · 0 评论 -
NER 原始数据处理
【代码】NER 原始数据处理。原创 2024-04-13 15:55:11 · 297 阅读 · 0 评论 -
30行代码利用HanLP识别姓名
hanlp flask 姓名原创 2023-09-26 10:35:06 · 293 阅读 · 0 评论 -
使用 bert-base-chinese-ner 模型实现中文NER
bert 中文 ner原创 2024-04-11 19:58:54 · 2186 阅读 · 0 评论 -
spacy NER TAG
GPE LOC FAC原创 2023-10-31 09:46:11 · 217 阅读 · 0 评论 -
NLP 依存分析
依存分析转载 2022-09-30 10:21:29 · 389 阅读 · 0 评论