
深度学习
文章平均质量分 93
深度学习基本知识,案例,代码
专注算法的马里奥学长
智慧环境方向 985毕业小硕 我是看南门的
主攻机器学习算法在环境领域的应用&环境领域的软件模拟
学业繁忙,答疑400/h起,敬请谅解
展开
-
Jieba进行词频统计与关键词提取
需要注意的是,TF-IDF算法只考虑了词语在文本中的出现情况,而忽略了词语之间的关联性。因此,在一些特定的应用场景中,需要使用其他的文本特征提取方法,例如词向量、主题模型等。可以看到,jieba根据TF-IDF算法提取出了输入文本中的若干个关键字,并返回了每个关键字的权重值。例如,在一个包含1000篇文档的文档集合中,某个单词在100篇文档中出现过,则该单词的IDF为。最后,我们遍历关键字列表,输出每个关键字和对应的权重值。例如,在一篇包含100个单词的文档中,某个单词出现了10次,则该单词的TF为。原创 2023-03-27 21:07:21 · 1611 阅读 · 0 评论 -
Jieba分词的准确率提升:使用paddle模式进行分词(使用百度飞桨深度学习模型进行分词)
jieba中的paddle模式是指使用飞桨(PaddlePaddle)深度学习框架加速分词的一种模式。相对于传统的分词算法,paddle模式采用了深度学习模型,可以获得更高的分词准确度和更快的分词速度。paddle模式是基于卷积神经网络(Convolutional Neural Network, CNN)实现的。在训练过程中,使用了中文Wikipedia语料库和自动标注语料库,对分词任务进行了有监督的训练。原创 2023-03-27 09:21:03 · 5297 阅读 · 1 评论 -
Jieba分词模式详解、词库的添加与删除、自定义词库失败的处理
当需要添加的词过多时,建议使用添加词典的方式。自定义词典可以包含用户自己添加的词语及其词频和词性等信息。创建一个文本文件,例如,用于存储自定义词典。每行格式为:词语 词频 词性。将需要添加的词语及其词频和词性等信息写入到中,每个词语一行。调用Jieba的方法加载自定义词典文件。词典示例如下:开源模型 10 n深度学习 8 n其中,10和8为词语的词频,n为词语的词性。之后调用词典即可。词典加入之后,再次进行分词,词典中的内容就可以被分出来了。原创 2023-03-26 11:54:28 · 6611 阅读 · 4 评论 -
使用PyTorch构建卷积GAN源码(详细步骤讲解+注释版) 02人脸图片生成下
阅读提示:本篇文章的代码为在普通GAN代码上实现人脸图片生成的修改,文章内容仅包含修改内容,全部代码讲解需结合下面的文章阅读。本次训练代码使用了本地GPU计算。文章的上篇讲解了数据集class和鉴别器class,下面将会继续建立生成器class,并完成鉴别器与生成器的对抗。原创 2023-02-04 13:02:22 · 6078 阅读 · 2 评论 -
使用PyTorch构建卷积神经网络(CNN)源码(详细步骤讲解+注释版) 01 手写数字识别
前面我们使用GAN构建了一个可以生成人脸图像的模型。但尽管是较为简单的模型,仍占用了1G左右的GPU内存,因此需要探索更加节约资源的方式。卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习模型,主要应用于图像处理、语音识别等领域。它的主要思想是通过卷积操作对输入图像的特征进行提取,再通过多层网络对特征进行分类和判断。CNN的网络结构通常由卷积层、池化层和全连接层组成。原创 2023-02-02 13:54:53 · 7601 阅读 · 1 评论 -
使用PyTorch构建GAN生成对抗网络源码(详细步骤讲解+注释版)02 人脸识别 下
上一节,我们已经建立好了模型所必需的鉴别器类与Dataset类。接下来,我们测试一下鉴别器是否可以正常工作,并建立生成器。原创 2023-01-31 10:25:28 · 6648 阅读 · 0 评论 -
使用PyTorch构建GAN生成对抗网络源码(详细步骤讲解+注释版)02 人脸识别 上
本文使用torch,建立了能够自动生成人脸数据的对抗神经网络。原创 2023-01-16 12:58:37 · 8077 阅读 · 1 评论 -
HDF5数据的打包与使用(以图像数据为例)
HDF5 数据是存储在一种名为 Hierarchical Data Format version 5 (HDF5) 的二进制文件格式中的数据。这种文件格式可以用来存储大量的多维数据,并且提供了很多的功能来帮助用户组织和管理数据。HDF5 数据文件中包含了一系列的数据集,每个数据集都是一个多维数组。数据集的维度可以是任意的数量,并且每个数据集都可以有自己的属性。这使得 HDF5 文件格式非常适合用来存储大量的数值型数据,比如图像、音频、视频等。原创 2023-01-08 00:50:19 · 3083 阅读 · 1 评论 -
离线下载安装PyTorch的不报错方法
安装最经典的方法是在官网选择电脑的系统,GPU型号,PyTorch版本后,将生成的安装代码直接复制并使用命令行安装。但由于网络的原因,相信大家基本在安装的时候都遇到过各种而样的问题导致安装失败。所以一般会使用镜像安装和离线安装代替其中离线安装是最不会产生网络波动导致安装失败的方法,在此推荐使用。原创 2023-01-07 02:34:06 · 5088 阅读 · 1 评论 -
使用PyTorch构建GAN生成对抗网络源码(详细步骤讲解+注释版)01 手写字体识别
构建一个生成对抗网络,生成对抗网络可以模拟出新的手写数字数据集。附逐句代码讲解原创 2023-01-05 23:38:59 · 11203 阅读 · 9 评论 -
使用PyTorch构建神经网络(详细步骤讲解+注释版) 03 模型评价与准确率提升
上一节我们已经成功训练了一个神经网络模型本文的使用的部分类方法为前述文章定义所得,如果希望运行完整代码建议同时查看上一篇文章或文末留言发你完整代码。原创 2023-01-02 18:00:25 · 1641 阅读 · 0 评论 -
使用PyTorch构建神经网络(详细步骤讲解+注释版) 02-数据读取与训练
前面我们已经建立好了一个神经网络的分类器Class。下面进行数据的读取与模型训练。原创 2023-01-01 23:23:24 · 1900 阅读 · 2 评论 -
使用PyTorch构建神经网络(详细步骤讲解+注释版) 01-建立分类器类
神经网络中,建立分类器类逐步代码讲解原创 2023-01-01 11:26:40 · 6868 阅读 · 10 评论 -
一文带你入门神经网络需要的PyTorch基础
PyTorch 是一个开源的机器学习库,提供了强大的计算能力和灵活的用于构建和训练神经网络的工具。它的核心特点包括:动态图计算:与其他机器学习库(如 TensorFlow)不同,PyTorch 允许在运行时动态构建计算图,这使得可以使用 Python 控制流操作(如 if、for、while)来构建模型。快速 GPU 加速:PyTorch 提供了与 CUDA 相关的 API,可以使用 GPU 加速计算。这使得可以使用 PyTorch 训练大型深度学习模型,而无需太多编码工作。原创 2022-12-28 22:36:26 · 5343 阅读 · 0 评论