【GPT入门】第44课 检查 LlamaFactory微调Llama3的效果

比较训练前后的效果

比较方法： LlamaFacotory的chat页面，直接比较两个模型，在训练数据的问答效果对比
比较：你的名字是什么， 谁训练你的

1. 加载原始模型

加载前：

• 比较我是谁

卸载模型

2.对比训练后模型

跟自己的训练数据一致

部分训练数据如下：

 {
    "instruction": "Can you introduce yourself?",
    "input": "",
    "output": "I am 阿拉丁, an AI assistant trained by 星星之火."
  },
  {
    "instruction": "Can you tell me a little bit about yourself?",
    "input": "",
    "output": "I am 阿拉丁, an AI assistant trained by 星星之火."
  },
  {
    "instruction": "What are you called?",
    "input": "",
    "output": "I am 阿拉丁, an AI assistant trained by 星星之火."
  },
  {
    "instruction": "Tell me about yourself",
    "input": "",
    "output": "I am 阿拉丁, an AI assistant developed by 星星之火."
  },
  {
    "instruction": "Who created you?",
    "input": "",
    "output": "I am an AI assistant created by 星星之火."
  },
  {
    "instruction": "Who built you?",
    "input": "",
    "output": "I am an AI assistant built by 星星之火."
  }

• 其它非训练数据，问的问题，检查回复
  -

3. 比较进入训练数据

• 数据源

  {
       "instruction": "根据政策调整和市场需求的变化，预测未来造纸行业的发展趋势。\n请根据下列文本完成上述任务：核心观点:\n家居：政策释放积极信号，看好家居消费信心提振。 政策支持带动竣工快速修复，未来将对家居需求形成支撑，2023年1~6月，全国房屋累计竣工面积达到3.39亿平方米，同比增长19%。 中央释放积极信号，7月24日，政治局会议指出，要适应我国房地产市场供求关系发生重大变化的新形式，适时调整优化房地产政策，因城施策用好政策工具箱，更好满足居民刚性和改善性住房需求。 同时，要积极扩大国内需求，提振汽车、电子产品、家居等大宗消费。 后续，各部门及地方陆续发声，地产松绑及消费提振政策纷纷发布，我们认为未来仍有望持续推出支持政策，带动下半年需求复苏。 建议关注：定制龙头【欧派家居】、【索菲亚】、【志邦家居】及【金牌厨柜】；软体龙头【顾家家居】、【慕思股份】。 \n造纸：浆价企稳反弹，静待下游需求改善。 废纸系：废黄板纸价格再度探底，库存水平降至历史低位，预计后续将产生补库需求。 瓦楞纸产能增长有限，箱板纸2023年产能增长预计超10%。",
       "input": "",
       "output": "根据政策支持和废纸系行业的补库需求预期，未来造纸行业有望出现企稳反弹的趋势。然而，下游需求的改善仍是造纸行业发展的关键。",
       "history": []
   },
   {
       "instruction": "你需要找到文本中提到的几种实体：事件类型、时间、主体。\n如果事件没有相对应的时间/主体/数值，则输出\"无时间\"/\"无主体\"/\"无数值\"\n文本：界龙实业(600836.SH)公布，2020年4月1日，公司接到界龙集团关于将其所持有的公司部分股票进行解质后再质押的通知：2020年3月27日界龙集团向海通证券偿还部分股票质押款4000万元，2020年3月30日界龙集团向海通证券申请解除质押无限售条件流通股3992万股，并同时申请前述处于可解质押状态的3008万股解除质押，合计申请解除质押7000万股无限售条件流通股。同日，上述合计7000万股无限售条件流通股解除质押。2020年4月1日界龙集团将其持有的公司股份7000万股无限售条件流通股(占界龙集团持股总数的38.79%，占公司总股本的10.56%)再质押给海通证券，初始交易日为2020年4月1日，购回交易日为2020年4月17日。此次股票再质押后，界龙集团未向海通证券增加新的融资负债。 相关股票 界龙实业 SH 600836 5.18 -0.15 -2.81%",
       "input": "",
       "output": "事件类型：股权质押\n主体：界龙实业\n时间：2020年4月1日\n数值：7000万股",
       "history": []
   }
 {
       "instruction": "文本：为什么一汽一方面抛弃一汽夏利现在拥有的土地、厂房，另一方面其他的子公司却在建设新的生产基地？ 一汽夏利又一次走到了退市边缘。 4月8日，一汽夏利(000927.SZ)发布的2019年年报显示，一汽夏利去年实现营收4.29亿元，同比下降61.85%；归属于上市公司股东的净利润为-14.81亿元，同比下降4068.32%。截至报告期末，总资产19.47亿元，总负债33.05亿元，归属于上市公司股东的净资产为-13.9亿元。 当天晚间，一汽夏利再发公告称，经审计的2019年期末净资产为负值，公司股票交易自4月10日起将被深圳证券交易所实行退市风险警示，股票简称由一汽夏利变更为*ST夏利。 由于连年亏损、经营不佳，在将手下的优质资产一汽丰田全部变卖也难以维系的情况下，2019年，一汽夏利做出两个决定。一是混改，与博郡成立合资公司，利用现有的厂房、设备、部分人员和生产资质，从事汽车制造和销售业务；二是通过资产重组，将上市公司“壳”资源划转给中铁物晟。 惨淡的年报业绩让*ST夏利的股价继续一路向下，与博郡的合资公司也因对方的资金链问题迟迟没有实质性的进展。 近日，21世纪经济报道多位原一汽夏利员工处了解到，由于怀疑一汽集团推进有关夏利与博郡合资的“混改”过程中涉及国资流失问题，有200余名一汽夏利员工向中纪委等有关部门提出举报。 截至目前，一汽集团未对此事做出回应。 博郡无力接盘 “前景恐怕早已注定。” 4月20日，有资深汽车行业证券分析师对21世纪，在对资金、技术、实力等都要求极高的汽车产业，一家没有任何背景的新创公司很难救活夏利。 2019年9月28日，一汽夏利宣布与南京博郡新能源汽车有限公司共同出资成立合资公司，开发生产新能源车型，同时业务还包含乘用车整车、汽车零部件、发动机、电驱动系统、电池包系统、储能系统等研发制造销售。 值得注意的是，交易完成后，一汽夏利以整车相关土地、厂房、设备等资产及负债作价出资5.05亿元，持有合资公司19.9%的股权；并协助合资公司申请汽车整车生产资质，届时一汽夏利将不再具备汽车整车生产资质，将无法继续从事整车生产业务。南京博郡以现金出资20.34亿元，持股比例80.1%。 一汽夏利和南京博郡的合资公司“天津博郡”，于2019年10月正式成立。 博郡将控股新合资公司，一汽夏利转为小股东。除了接受一汽夏利的土地、厂房、设备等资产外，新的合资公司接手了超过800名来自原一汽夏利的员工。 “50岁以上的男员工和40岁以上的女员工，大约有1000多人内退。目前留在一汽夏利的人有100多人，300多人待岗，还有800人去了合资公司。”4月20日，一位熟悉一汽夏利的业内人士对21世纪。 尽管去合资公司能够涨薪，但仍有部分员工担心合资公司的前景，没有和一汽夏利解除劳务合同。 根据一汽夏利在1月14日发布了资产重组进展情况公告，天津博郡汽车有限公司于2019年11月18日在天津市西青区市场监督管理局注册成立。截至1月13日，南京博郡以货币方式向天津博郡缴付出资1400万元。此外，按照股东协议的约定，有832名员工自愿与一汽夏利解除劳动关系，并与天津博郡签订了劳务合同。 然而，这些去往合资公司的员工并没能如期上岗。根据博郡汽车此前对外透露的信息，旗下的首款车在2019年年底投产，2020年一季度开始交付。不过，有天津博郡的员工告诉21世纪经济报道记者，新的合资公司还未对工厂进行改造，再加上疫情的影响，新车投产的时间仍未可知。他还告诉记者，从一汽夏利来到天津博郡的员工已经数月没能拿到工资。 “造车需要投入大量资金，博郡本身的资金实力就不够强，去年整个行业的融资情况也不太好。如果没有充足的资金，博郡就算拿到了一汽夏利的工厂、工人、资质，也很难造出车来。”有原一汽夏利的员工接受21世纪经济报道记者采访时表示。 数月未能拿到工资，前途未卜，一些员工开始质疑当初一汽夏利和博郡的合资。 “夏利就像一个被一汽扔掉的‘包袱’。所谓的混改，根本性的想法就是把这个公司甩出去，把负债甩出去，减了负债减了人。”上述原一汽夏利员工说。 有参与一汽夏利和博郡合资项目的人士告诉记者，因为坐拥造车资质和不少资产，当初有不少企业洽谈收购夏利，但有的企业只要资产，不想要员工。博郡能够帮助吸纳部分员工，是最终能够顺利达成合作的其中一个原因。 不过，值得注意的是，按照之前签署的合作协议，博郡汽车应于合资公司成立取得营业执照之日起三十日内，以货币方式向合资公司缴付首期出资10亿元，在合资公司成立6个月内且合资公司取得整车生产资质后缴付第二期10.34亿元人民币。 但是，根据一汽夏利公布的相关公告，南京博郡的10亿元出资未能如期支付。截至目前，仅出资1400万元。 “或许，博郡不具备缴付20亿资金的能力。虽然博郡声称自己拿到了25亿的融资，但是没有人看到过相关的融资合同。”上述参与合资项目的一汽夏利员工表示。 夏利何去何从？ “天津博郡成立之后，有800多名员工与夏利解除了劳动关系，与天津博郡签署了劳动合同。现在因为博郡欠薪，想要回到夏利肯定是不可能的，除非是混改过程中确实有问题，所以员工才要维权。”4月19日，有一汽夏利的员工告诉21世纪经济报道记者。 如果博郡资金链紧张的问题继续恶化，一汽夏利混改将会遇到更大的阻碍。他认为，一汽夏利仍在岗上的100个人，加上待岗的300人，以及去合资公司的800多人，所组成的一千多人团队，具有汽车生产完整的体系，有多年的造车经验，也有熟练的技术能力和专业能力。 “通过改造，我们原本完全有能力成为一汽集团‘代工厂’继续活下去，为一汽的其他品牌生产一两款车，而不是像现在这样。很难理解的是，为什么一汽一方面抛弃一汽夏利现在拥有的土地、厂房，另一方面其他的子公司却在建设新的生产基地。改造肯定要比新建生产基地省下不少成本。”有一汽夏利员工告诉记者。他希望，一汽夏利能够重新评估和博郡的合作，让所有去合资公司的夏利员工回到夏利，重新组成一个完整的造车体系。 据了解，一汽丰田正在天津建设新的纯电动生产基地，计划年产能20万辆。4月15日，一汽红旗新能源汽车工厂在长春启动建设，总投资76亿元，建成后年产量可达到20万辆。 2017年9月，徐留平入主一汽，开始进行大刀阔斧的改革。根据一汽改革的计划，在自主板块一汽举集团之力发展新红旗，一汽奔腾也在2018年发布了新奔腾品牌战略，而夏利品牌被雪藏。 在业内看来，在一汽改革的过程中，一汽夏利的位置颇为尴尬。由于旗下的自主板块均较为疲弱，如果继续进行多品牌战略恐怕难以很快取得成效。有业内人士认为，在一汽夏利持有的一汽丰田资产全部被一汽股份收购之后，一汽夏利本身对于一汽而言已经失去了绝大部分的价值。 “如果天津博郡按照现在的状态往下走，所有人都要跟着一起‘死’。解决夏利的问题，明明可以有更好的办法。”上述参与合资项目的一汽夏利人士最后告诉记者。 \n从上述文本中识别以下实体：事件类型、时间、主体，并按照示例输出结果。\n如果事件没有相对应的时间/主体/数值，则输出\"无时间\"/\"无主体\"/\"无数值\"",
       "input": "",
       "output": "事件类型：戴帽\n主体：一汽夏利\n时间：4月10日\n数值：无，数，值",
       "history": []
   }

• 训练前
  

• 训练后

损失查看