- 博客(30)
- 收藏
- 关注
RSS订阅原创 手搓transformer
本文实现了一个基于Transformer的编码器-解码器模型，包含词嵌入、位置编码、多头注意力机制、前馈网络和层归一化等核心组件。代码定义了Embeddings、PositionalEncoding、MutilAttention等类实现Transformer各层功能，并通过EncoderDecoder类整合编码器-解码器结构。模型支持自定义参数如隐藏层维度(d_model=512)、注意力头数(heads=8)、dropout率(0.2)等。测试结果显示模型能正确处理输入序列(4 tokens)并输出概率分
2025-11-06 16:56:46
909
原创 FastAPI小项目
用于生成动态 HTML 页面。它允许在 HTML 中嵌入 Python 风格的变量、条件判断、循环等逻辑，让页面内容可以根据后端数据动态变化。# 必须有request FastAPI 要求必须包含的参数，将当前请求对象。共享渲染模板的调用 request.app.state.views。jianja2inja2 是 Python 中最流行的。传递给模板（用于模板内部生成 URL 等操作）。主挂载静态文件,创建渲染模板。
2025-08-15 17:09:25
905
原创 Real-Time Anomaly Detection of Network Traffic Basedon CNN
新型网络体系结构,传统网络设备如交换机和路由器在硬件中集成了数据平面和控制平面，这两个层面紧密耦合，导致网络配置和管理复杂且不灵活。SDN的核心理念是将控制平面（决定数据如何流动）从网络硬件中分离出来，由中央控制器软件进行统一管理。一旦控制平面被分离并集中到SDN控制器上，控制器就需要与网络中的各个设备进行通信。这是通过南向接口协议实现的，最著名的协议是OpenFlow。OpenFlow允许控制器向网络设备发送指令，告诉它们如何处理特定的数据流。
2025-04-03 21:48:07
554
原创 Transformer
优点 相比于lstm与gru 能够处理更长的句子ransformer模型的作用:基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务,如机器翻译,文本生成等.同时又可以构建预训练语言模型，用于不同任务的迁移学习.
2025-03-27 21:48:19
220
原创 nlp进阶
RNN(Recurrent Neural Network),中文称作循环神经网络,它一般以序列数据为输入,通过网络内部的结构段计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.单层网络结构 在循环rnn处理的过程。
2025-03-04 21:15:58
438
原创 自然语言处理基础
又称独热编码，将每个词表示成具有n个元素的向量，这个词向量中只有一个元素是1，其他元素都是0，不同词汇元素为0的位置不同，其中n的大小是整个语料中不同词汇的总数.[pair('我', 'r'), pair('爱', 'v'), pair('大唐', 'nz'), pair('不夜城', 'i')]将文本表示成张量(矩阵)形式，能够使语言文本可以作为计算机处理程序的输入，进行接下来一系列的解析工作。tagger(['我'"的”，'希望''是''希望''和平'])["人生”，"该’，"如何"，"起头”]
2025-02-28 21:11:06
770
原创 线性回归基础
dataloader 从数据集中获取特定数目的样本。pickle的序列化存储,受到pytorch版本影响。''' 一次生成2条随机数据。2采用字典的形式把参数全部写入存储。损失函数假设函数优化函数。
2025-02-21 17:10:12
287
原创 cnn卷积神经网络
卷积神经网络(Convolutional Neural Network)是含有卷积层的神经网络,卷积层的作用就是用来自动学习、提取图像的特征.在计算机视觉中有突破性成果.CNN网络主要有三部分构成:卷积层、池化层和全连接层构成，其中卷积层负责提取图像中的局部特征;池化层用来大幅降低参数量级(降维);全连接层类似人工神经网络的部分，用来输出想要的结果。
2025-02-17 23:06:45
400
原创 神经网络基础篇
同一层的神经元之间没有连接。第 N 层的每个神经元和第 N-1层 的所有神经元相连（这就是full connected的含义), 第N-1层神经元的输出就是第N层神经元的输入。激活函数用于对每层的输出数据进行变换, 进而为整个网络结构结构注入了非线性因素。神经网络中信息只向一个方向移动，即从输入节点向前移动，通过隐藏节点，再向输出节点移动。1.没有引入非线性因素的网络等价于使用一个线性模型来拟合。隐藏层: 输入层和输出层之间都是隐藏层。输入层: 即输入 x 的那一层。输出层: 即输出 y 的那一层。
2025-02-09 18:16:55
384
原创 pytorch的使用
PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。在 PyTorch 中!张量以"类"的形式封装起来，对张量的一些运算、处理的方法被封装在类中。torch.ones(大小)创建1张量 torch.ones_like(data)创建与data形状相同的1张量。torch.full(大小,值)创建默认值张量。
2025-02-06 19:04:53
328
原创 hadoop
客户端会通过fs向namenode请求上传文件,namenode中存贮的是元数据包含数据存放在那个datenode,查询后客户端会向datenode发送数据,secondarynamenode用于整合fs和ei的信息,fs是就的数据放在内存中速度快,ei的放在磁盘是新进去的数据,一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。，记录文件系统元数据发生的所有更改，如文件的删除或添加等操作信息。
2025-01-17 21:38:10
274
原创 &混合输出
1>&2 正确的值传递给2输出通道。2>&1 将错误的放在正确的里面。0 输入 1正确输出 2错误输出。2>a.txt(错误输出)
2024-01-23 19:22:58
463
1
原创 作业第二天
1、在/opt/目录下创建 以自己名字命名的目录；2、进入刚刚创建的目录，创建一个文件以自己名字命名最帅/最漂亮.txt (例如：杰哥最帅.txt)touch 寒松最帅.txt3、第一步执行 cd /opt/hello/a/b/c第二步执行 cd ..现在我们在哪一个目录中？b第三步执行 cd -现在我们在哪一个目录中？c第四步执行cd .现在我们在哪一个目录中？c第五步执行cd现在我们在哪一个目录中？第六步执行cd -
2024-01-04 19:24:22
415
1
原创 第二天linux
cd 切换目录cd /切换至根目录ls 列出目录里的全部东西pwd查看当前的路径/从根出发指的是绝对路径 可以访问其他任何文件 从根出发到要访问的全部路径无/指的是相对路径 可以访问其子目录不能访问其他的切换路径 cd ..切换至上一层cd - 回到上一次所在目录 从哪里来回哪里去cd ../..向上返回两层。
2024-01-04 16:41:20
430
1
原创 Linux学习第一天
date -R查看系统时间 date -s"2000-01-02 02:02:02"修改系统时间小r不可以。hwclock --set --date"2000-01-02 02:02:02" 修改硬件时间。systemctl status firewalld 查看防火墙的状态 running指的是开启。systemctl stop firewalld 临时关闭防火墙 下次启动还是开启。i 写文档时进行插入 esc 写好退出 :wq w指的是保存 q指的是退出。setenforce 0 指的临时关闭。
2024-01-03 17:29:41
404
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人