- 博客(30)
- 收藏
- 关注
原创 GPT3 与 GPT2 的异同
GPT-3 是 GPT-2 的显著升级版本,通过增加模型规模、改进训练数据和方法,以及增强少样本学习能力,GPT-3 在多种自然语言处理任务上表现出色,展示了大型语言模型在通用性和适应性方面的巨大潜力。尽管 GPT-3 仍有一些局限性,但其在文本生成和理解方面的进步为未来的研究和应用提供了新的方向。
2025-02-27 19:56:50
856
原创 GPT1 与 GPT2 的异同
GPT2主要探讨了语言模型在没有明确监督的情况下,通过在大规模网页文本数据集(WebText)上进行训练,能够学习执行多种自然语言处理任务的能力。研究团队通过实验展示了语言模型在问答、机器翻译、阅读理解等任务上的表现,并分析了模型容量对性能的影响。背景知识自然语言处理任务:通常需要通过监督学习在特定数据集上进行训练,如问答、机器翻译、阅读理解和文本摘要等。语言模型:通过预测文本序列中的下一个词来学习语言的统计规律,通常被视为无监督学习任务。GPT-2。
2025-02-27 19:45:33
931
原创 GPT 与BERT的异同
GPT1介绍了一种通过生成式预训练(Generative Pre-Training)来提升语言理解能力的方法。这种方法首先在一个大型的未标注文本语料库上进行语言模型的预训练,然后针对具体的任务进行判别式微调(discriminative fine-tuning)。文章详细阐述了这种方法的动机、相关工作、框架、实验结果以及分析。背景知识与研究动机自然语言理解(NLU)涉及多种任务,如文本蕴含、问答、语义相似度评估和文档分类等。这些任务通常面临标注数据稀缺的问题,限制了基于判别式训练模型的性能。
2025-02-27 19:42:00
802
原创 EfficientNet:对模型深度、宽度和分辨率的混合缩放策略
这张图可以清晰明了的显示EfficientNet 的卓越表现,一句话总结:更小的模型、更快的速度、更好的效果。
2024-12-19 15:31:29
1159
原创 Swin Transformer变体2:Swin Transformerv2模型
对Swin Transformer的举出模型做了一定的修改,模型性能大幅提升
2024-12-13 16:43:07
1033
原创 2022春计算机系统大作业
计算机系统大作业题 目 程序人生-Hello’s P2P 专 业 计算机 学 号 班 级 学 生 指 导 教 师 计算机科学与技术学院2021年5月摘 要 本文主要阐述了一个孤独的hello.c文件是怎么在linux系统中一步步......
2022-05-16 21:04:56
2496
原创 关于程序优化的一些思考
目 录第1章 实验基本信息1.1 实验目的1.2 实验环境与工具1.2.1 硬件环境1.2.2 软件环境1.2.3 开发工具1.3 实验预习第2章 实验预习2.1 程序优化的十大目标(5分)2.2性能优化的方法概述(5分)2.3 Linux下性能测试的方法(5分)2.4 Windows下性能测试的方法(5分)第3章 性能优化的方法第4章 性能优化实践第1章 实验基本信息1.1 实验目的理解程序优化的10个维度熟练利用..
2022-05-13 21:55:12
2300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人