- 博客(7)
- 收藏
- 关注
RSS订阅原创 大模型的通用概念
大语言模型 (Large Language Model, LLM) 是通过大量文本语言数据，基于transformer模型架构，通过预训练，指令微调，人类对齐，解码后部署的。之后基于自然语言的研究还有提示学习，规划与智能体，评测和应用。目前主要的大模型就有GPT4o，PaLM， LLaMA等。实现的内容包括机器翻译、文本生成、语音识别、问答系统等。
2025-02-13 21:52:15
787
原创 从 Transformer 到 BERT 的入门指南（简单版）
可以把 \frac{QK^T}{\sqrt{d_k}} 理解为一个“词与词之间相似度”的矩阵，然后再用 softmax 得到注意力权重，最后与 V 相乘得到加权信息。• 这一步我们得到输入序列的 \mathbf{X} 形如 (\text{batch}, \text{seq_len}, \text{embedding_dim})。：使用 Decoder 中的 Q 和 Encoder 输出 \mathbf{Z} 中的 K, V，计算 Decoder 对原文（Encoder 输出）的关注。
2025-02-06 16:54:36
702
原创 Pairwise Sequence Alignment (PSA) in java
Pairwise Sequence Alignment (PSA) int102 算法Global alignment vs. local alignment
2024-06-02 00:31:21
456
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人