Datawhale Al夏令营 大模型（微调）Task02

通过Task01里面对prompt和训练次数与学习率的调整发现，改变prompt对模型打分有提高，改变其余两个参数对其提高无很大的参考价值。所以Task02集中精力去调整prompt与扩充数据。

下方为task01里面对参数和prompt调整的部分记录。

下表为不同prompt与得分对比。

表1 prompt与得分对比

中文promp	英文prompt	得分
(1)理解文中重要概念的含义  (2)理解文中重要句子的含意  (3)分析论点、论据和论证方法	(1)Understanding the main idea of the main idea. (2)Understand the specific information in the text. (3)infering the meaning of words and phrases from the context	54.2
(1)理解文中重要概念的含义 (2)理解文中重要句子的含意 (3)分析论点、论据和论证方法 (4)请概述文章的结构布局，包括引言、主体和结尾部分。分析这种结构如何帮助作者有效地传达其观点和论据 (5)文中作者采用了特定的语言风格来表达其思想。请识别并描述这种风格，并讨论它对读者理解文章内容的影响 (6)分析作者在文中表达的情感态度，包括其对主题的喜好、厌恶、赞赏或批评等。请提供文中的具体证据来支持你的分析 (7)考虑文中提到的文化元素或背景，讨论这些元素如何影响作者的观点和论证。请提供文中的相关引用，并解释它们在文中的作用 (8)基于文中的论点和论据，推断作者写作本文的主要意图。请结合文本内容和可能的社会、历史背景来支持你的推断 (9)在评价作者的论点时，运用批判性思维来分析其潜在的假设和前提。请指出任何可能的逻辑谬误或论证上的弱点，并提出可能的反驳点	(1)A question that prompts students to pinpoint the central theme or argument of the provided text. (2)A question that requires students to recall and interpret specific details from the text. (3)A question that challenges students to infer the meaning of new or complex vocabulary from the surrounding context. (4)A question that encourages students to analyze how the text's structure enhances its meaning and impact. (5)A question that assesses students' ability to identify examples that reinforce the main ideas. (6)A question that invites students to make logical predictions based on the information presented in the text. (7)A question that asks students to evaluate the author's purpose and the effectiveness of the text in achieving that purpose. (8)A question that tests students' understanding of figurative language used by the author and its impact on the text. (9)A question that explores the author's perspective or potential bias and how it shapes the presentation of information. (10)A summarization task that requires students to encapsulate key points and discuss their wider implications.	60.5

得分图如下图所示：

我们在保持训练代数为10，学习率为0.00008,由上1表可知，改进的prompt对于大模型的得分是有改进的。Task01链接：https://blog.youkuaiyun.com/MCAC_123/article/details/141109930

调节出这个得分60.5的prompt后，我停止了对prompt的改进，接着来扩充数据。由于是高考出题，我选择的是2023年与2019年的高考全国范围的语文与英语试卷，来扩充数据集。

第一步，在云端baseline左侧下载英语与语文的训练集文件，然后根据其固定格式进行粘贴和扩充数据。利用下图同样的步骤下载英语训练集。

第二步，下载完成之后进行高考题填充，原来是60是多条特征，我陆续添加到80多条特征。如下图所示。语文与英语训练集做了同步增加。每套试题中，语文有三篇现代文阅读，英语有四篇现代文阅读，所以英语多于语文的训练条数。这些试题还没有增加完全。

第三步，将增加好的训练集上传到云端，加上最好的prompt生成最新的output文件。放到训练平台进行训练，次数与学习率都不做改变。增加两套试卷与四套试卷数据的得分如下。

           

增加两套试卷分数为60.4差别不大，增加四套试卷分数有了明显提升来到68分。我还在增加试题，此时评分还未出来。就先写到这。task03里面再做体现。

截止到目前，分数都在稳步提升，希望通过后续的操作，能提高到80分。

此次评分很随机，有些同学baseline就达到了70多的分数。自己接着努力提升。