叶子的博客

huggingface网站提供了大量深度学习预训练模型及其调用方式。本文主要介绍问答模型调用方式，主要是针对问答结果输出完整上下文的问题。其现象在于问题答案为输入的上下文，而不是答案部分。出现该问题主要原因是transformers版本过低。

OpenAI社区今天凌晨4点多发送的邮件，介绍了ChatGPT官方API的发布。官方介绍文档地址为“”和“ChatGPT(GPT3.5)官方API模型名称为“gpt-3.5-turbo”和“gpt-3.5-turbo-0301”。API调用价格比GPT text-davinci-003模型便宜10倍。调用费用为0.002美元/1000tokens，折合下来差不多0.1元4000~5000字。这个字数包括问题和返回结果字数。

AI赋能创作：探究AIGC技术的价值与未来

在使用transformer 4.0时，报错误提示RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long;该问题主要时由于tensor的类型导致的，解决方法是在相应报错行的前一行对数据类型进行转换。假设输入数据为x，那么增加行为“x = torch.tensor(x).to(torch.int64)”。

机器问答系统流程如下图所示：具体过程：（1）准备知识库，可以从维基百科或者百度百科中获取，知识库主要是存储实体与实体介绍文本，也就是百科中的词条与词条介绍。（2）流程中涉及到三个模型：实体提取模型用来确定问题包含的实体，在知识库中查找确认对应介绍文本；如果实体不存在，可以考虑通过相似实体模型替换成相似的实体，比如同一个人不同称呼。最后，将实体文本作为阅读理解的上下文输入到QA阅读理解问答模型中即可得到答案。参考文章：https://zhuanlan.zhihu.com/p/33368..

Github参考代码：https://github.com/edmondchensj/ChineseQA-with-BERThttps://zhuanlan.zhihu.com/p/333682032数据集来源于DuReader Dataset，即百度经验上的问答，在上述链接中提供下载方式。感谢作者提供的代码。1、数据集处理（1）首先数据集格式需要转为SQuAD数据集格式，SQuAD数据集介绍参考。https://blog.youkuaiyun.com/m0_45478865/article/de.

百度2019语言与智能技术竞赛信息抽取竞赛任务3 - 信息抽取■任务描述给定schema约束集合及句子sent，其中schema定义了关系P以及其对应的主体S和客体O的类别，例如 （S_TYPE:人物，P:妻子，O_TYPE:人物）、（S_TYPE:公司，P:创始人，O_TYPE:人物）等。任务要求参评系统自动地对句子进行分析，输出句子中所有满足schema约束的SPO三元组知识Triples=[(S1, P1, O1), (S2, P2, O2)…]。输入/输出：☆输入：s......

Synth text 数据集官网下载的主要包含图像文件夹和gt.mat标注文件，共85万（858750）多张图片数据。该数据集中包含了词级别标注、字符级别标注和文本识别内容，可用于文本检测和文本识别模型。1、mat格式标注文件读取，采用scipy.io中的loadmat函数读取，读到的结果是一个字典。from scipy.io import loadmatm = loadmat('gt.mat')2、Synth text的mat标注数据的keys包括（'__header__', '__ver

SRN：Towards Accurate Scene Text Recognition with Semantic Reasoning Networks，利用语义推理网络实现准确的场景文本识别。1、模型过程（1）输入图像（B，C， H， W），C一般为1（灰度图）或3（RGB）。（2）FeatureExtraction特征提取，采用Resnet50，提取的特征维度为（B，512, 1, w），h为W/4。那么可检测的文本序列长度为w。特征提取后通道数为512，即每个文字的特征为512。这个变换与

1、RNN, Seq2Seq, Attention注意力机制: https://zhuanlan.zhihu.com/p/513834022、CRNN + CTC文字识别：https://zhuanlan.zhihu.com/p/43534801持续更新中……

要点：CNN+RNN+CTCCNN：通过卷积操作，将h x w x c图像转换为1xTxC特征图。1为特征图的高，T为特征图的宽，C为特征图的通道数。以高度为32的特征图来说，出卷积层为，用4层池化层可将高度降低到2，再用一个核为2、pad为0的卷积即可将高度降为1。RNN：RNN一般采用两层的双向LSTM，输入的序列长度为CNN卷积后特征的长度T，序列中每一个特征尺度为CNN卷积后的通道数C。那么，（1）第一层LSTM输入数据的维度为（T,N,C），N为batchsize大小。第一层LSTM的