weixin_57231611的博客

·什么是文本张量表示： ·讲一段文本使用张量进行表示，其中一般将词汇表示成向量，称作词向量，再由各个词向量按顺序组成矩阵形成文本表示。·举个栗子["人生", "该","如何","起头"]==># 每个词对应矩阵中一个向量[[1.32, 4.32, 0.32, 5.2][3.1, 5.43, 0.34, 3.2][3.21, 5.32, 2, 4.32][2.54, 7.32, 5.12, 9.54]]...

·精确模式分词： ·试图将句子最精确地切开，适合文本分析。import jiebacontent = "工信部女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"jieba.cut(content, cut_all=False)# cut_all默认值为False#将返回一个生成器对象·输出结果<generator object Tokenizer.cut at 0x000002999E9BD740>#若需直接返回列表内容，使用j...

·文本预处理及其作用： ·文本预料在输送给模型前一半需要一系列的预处理工作，才能符合模型输入的要求，如：将文本转化成模型需要的张量，规范张量的尺寸等，而且科学的文本预处理环节将有效指导模型超参数的选择，提升模型的评估指标。·文本预处理中包含的主要环节： ·文本处理的基本方法 ·文本张量表示方法 ·文本语料的数据分析 ·文本特征处理 ·数据增强方法·文本处理的基本方法 ...

什么是自然语言处理·自然语言处理（Natural Language Processing，简称NLP）是计算机科学与语言学中关注于计算机与人类语言间转换的领域自然语言处理的发展简史 1950年：计算机科学之父图灵在论文中提出“机器可以思考吗”这一划时代的问题，从此促成了人类语言学与计算机科学的交融 1957-1970年：自然语言处理领域开始形成“两大阵营”，基于规则和基于统计。 1994-1999：基于统计的方法逐渐取得胜利，概率计算开始引入...

分类器任务和数据介绍·构建一个将不同图像进行分类的神经网络分类器，对输入的的图片进行判别并完成分类。·本案例采用CIFAR10数据集作为原始图片数据·CIFAR10数据集介绍：数据集中每张图片的尺寸是3*32*32，代表彩色3通道·CIFAR10数据集共有10种不同的分类，分别是"airplane","automobile","bird","cat","deer","dog","frog","horse","ship","truck".·CIFAR10数据集的样例如下图所示.

关于torch.nn·使用Pytorch来构建神经网络，主要的工具都在torch.nn包中·nn依赖于autograd来定义模型，并对其自动求导构建神经网络的典型流程·定义一个拥有可学习参数的神经网络·遍历训练数据集·处理输入数据使其流经神经网络·计算损失值...

·在整个Pytorch框架中，所有的神经网络本质上都是一个autograd package（自动求导工具包） ·autograd package提供了一个对Tensors上所有的操作进行自动微分的功能。·关于torch.Tensor·torch.Tensor是整个package中的核心类，如果将属性.requires_grad设置为T​​​rue，​​​​​​它将追踪在这个类上定义的所有操作。当代码要进行反向传播的时候，直接调用.backward()就可以自动计算所有的梯度。在...

·Tensors张量：张量的概念类似于Numpy中的ndarray数据机构，最大的区别在于Tensor可以利用GPU的加速功能。·我们使用Pytorch的时候，常规步骤是先将torch引用进来，如下所示：from __future__ import print_functionimport torch·创建矩阵的操作·创建一个没有初始化的矩阵x = torch.empty(5, 3)print(x)·输出结果tensor([[8.9082e-39, 6.9796e-3