- 博客(9)
- 收藏
- 关注
RSS订阅原创 fun-transformer task 4: Decoder
BLEU——通常用于评估机器翻译文本的质量。反向传播 随机梯度下降法。损失函数：交叉熵损失。
2025-01-25 00:07:57
217
原创 Datawhale fun-transformer task 3: transformer的encoder 结构
fill:#333;color:#333;color:#333;fill:none;
2025-01-21 23:24:52
935
1
原创 DataWhale fun-transformer task2 : attention机制+transformer
encoder-decoder架构编码器和解码器中的每一层都包含相同的子层，包括自注意力机制和前馈网络。这种架构不仅有助于全面理解输入序列，而且能够生成上下文丰富的输出序列。位置编码多头注意力机制就是多几个WqW_qWqWkW_kWkWvW_vWv矩阵进行训练，可以让模型从不同的角度学习和关注输入序列的不同部分，从而增强模型的表达能力。前馈网络feed-forward就是神经网络的基本结构（线性变换和非线性激活函数）
2025-01-18 20:02:35
551
原创 DataWhale wow-agent task 2: llama-index搭建电商数据库查询&课本问答agent
llama-index默认调用OpenAI大模型，调用其他模型需要继承CustomLLM类自定义一个类。教程中还实现了一个流式输出的功能，即各大ai聊天平台上的打字机效果。这节课构建的agent暂且不需要记忆对话历史。
2025-01-17 22:23:36
811
2
原创 fun-transformer task1：
个人理解：在多分类问题中，输出的y是向量，比如transformer模型输出的是单词表里每个词在下个位置出现的概率，结果选最大的。
2025-01-15 14:38:38
752
原创 Datawhale夏令营第三期AI+经济 task1&task2笔记
electricity price.csv时间两列合并后得electricity_price_parsed.csv是描述电力需求(demand)与市场出清价格（clearing price (CNY/MWh)）随时间的变化数据电力需求每15min变动一次，市场出清价格每1h变动一次，用前100条数据稍微确认一下。由图可验证需求上升导致价格上升的规律。unit.csv 发电机组，即供给方数据，task1中只利用coal consumption一列作为成本参数。
2024-07-31 19:31:56
657
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人