
大语言模型
文章平均质量分 85
syfly2014
这个作者很懒,什么都没留下…
展开
-
大模型计算及GPU相关概念记录
它们适用于不同的计算需求。一般来说,单精度适合一般计算,双精度适合科学计算,扩展双精度适合高精度计算。一个遵循 IEEE 754标准的系统必须支持单精度类型(强制类型),最好也支持双精度类型(推荐类型),而扩展双精度类型则是可选的。算力最基本的计量单位是 FLOPS,英文 Floating-point Operations Per Second,即每秒执行的浮点运算次数。浮点运算其实就是带小数的加减乘除运算。训练总算力(Flops)= 6 * 模型的参数量 * 训练数据的 token 数。原创 2024-07-19 09:47:06 · 853 阅读 · 0 评论 -
文本生成评估指标:ROUGE、BLEU详谈
本篇博客介绍了指标选择与应用注意事项,强调评价指标不是唯一标准,需结合实际任务和需求。文章提供了指标选择建议和考虑因素,并提醒读者评价指标的局限性,特别针对长文本评估等问题。通过综合多个指标、理解任务需求以及指标的适用范围,我们能够更准确地评估模型性能。不同指标的优缺点综合考虑,可以达到全面评估模型的目的。若想了解如何选择适合的评价指标并了解其局限性,本篇博客将是您的理想指南!原创 2023-07-25 11:32:06 · 6053 阅读 · 0 评论 -
自然语言处理-文本表示: Embedding技术
Embedding技术是自然语言处理领域中一种常用的表示文本的方法。它通过将文本映射到低维向量空间来捕捉单词、句子或文档之间的语义关系和语法结构。本文介绍了几种常见的Embedding技术,包括Word2Vec、GloVe、BERT等,并解释了它们的原理和应用场景。通过使用这些技术,我们可以获得具有丰富语义信息的文本表示,从而在词义相似度计算、情感分析、文本分类等任务中取得更好的效果。此外,我们还提供了一些相关的参考文献供读者进一步学习和探索。原创 2023-07-14 10:29:39 · 3207 阅读 · 0 评论 -
ChatGPT常用Prompt
ChatGPT 中文调教指南,在此页面中,您将找到可与 ChatGPT 一起使用的各种提示。原创 2023-06-15 10:30:59 · 410 阅读 · 0 评论 -
Zero Shot、Few Shot、One Shot闲聊
Zero Shot、Few Shot和One Shot的神奇之处,能够在没有见过的任务或类别上做出准确的预测,甚至只需要极少的样本就能学会新技能。原创 2023-05-17 22:52:26 · 3595 阅读 · 0 评论