大模型
关注
分享
扫一扫
文章平均质量分 71
蟹屋在海边
这个作者很懒，什么都没留下…
展开
-
大模型中的拟合问题与解决思路
训练数据上表现得过于优秀，在未见过的测试数据上表现不佳。模型的表示能力不足以捕捉数据中的复杂模式。原创 2024-09-22 16:30:47 · 293 阅读 · 0 评论 -
教你用 python 在国内实现 openAi 的调用
chatGPT 背后调用的接口是 openAI。chatGPT 是一个基于 openAI 的应用。购买获取访问 openAI 的 key 和 url。原创 2024-09-22 15:50:35 · 612 阅读 · 0 评论 -
NLP 文本匹配任务核心梳理
本质上是做了意图的识别判断两个内容的含义（包括相似、矛盾、支持度等）侠义给定一组文本，判断语义是否相似Yi 分值形式给出相似度广义给定一组文本，计算某种自定义的关联度判断文本是否能支持或反驳这个假设主题判断。原创 2024-09-22 15:16:13 · 1486 阅读 · 0 评论 -
NLP 生成式任务核心梳理
模型不变的情况下，进行采样策略调整，避免总选择最高概率词。能够根据历史数据预测新的数据。seq2seq 预训练。针对摘要的生成式模型。原创 2024-09-22 14:47:19 · 1183 阅读 · 0 评论 -
NLP 序列标注任务核心梳理
【代码】NLP 序列标注核心梳理。原创 2024-09-22 14:03:33 · 799 阅读 · 0 评论 -
NLP 文本分类任务核心梳理
标注更多数据，核心解决方案：原创 2024-09-22 13:06:38 · 582 阅读 · 0 评论 -
NLP 主流应用方向
【代码】NLP 主流应用方向。原创 2024-09-22 13:07:41 · 556 阅读 · 0 评论 -
NLP 主要语言模型分类
embedding 层加和后会做 layer normalization。经过 QKV 计算之后的结果，再经过一层线性层。Embedding 层由三部分加和组成。self attention 最终输出。矩阵维度 embedding_dim。做一次归一化操作（提高模型稳定性）文本分类和文本表示学习。原创 2024-09-21 01:02:13 · 1805 阅读 · 0 评论 -
大模型常见 loss 函数
首先，Loss 是允许不降到 0 的，模型计算的 loss 最终结果可以接近 0。原创 2024-09-20 23:34:19 · 575 阅读 · 0 评论 -
关于 NLP 应用方向与深度训练的核心流程
关于语言模型：- 作用判断那一句话相对更合理，相对不合理的会得到较底的分值：挑选成句概率分值最高的- 评价指标：PPL（Perplexity） 困惑度- 评估一个语言模型在给定数据集上的预测效果- PPL 值与成句概率成反比（PPL 越小，成句概率越高）原创 2024-09-20 23:31:36 · 2156 阅读 · 0 评论