测试llama3-8b的信息抽取能力 2

简介

通过简单的主观测试发现，即使是相对简单的NER任务，原始的llama3-8b量化模型也不能满足信息抽取的需求。

我们从DeepKE项目中找到了面向信息抽取的微调好的LoRA，加载该模型测试效果。检查已经开源的微调模型能否满足需求并决定是否需要进行下一步的微调工作。

过程

1. 加载模型
   与 测试llama3-8b的信息抽取能力1 相同
2. 构建提示词
   与 测试llama3-8b的信息抽取能力1 相同
3. 加载LORA

from peft import PeftModel, PeftConfig

peft_model_path = "J:\llm_model\llama3-8b-iepile-lora"
peft_config = PeftConfig.from_pretrained(peft_model_path)
model_with_lora = PeftModel.from_pretrained(model, peft_model_path)


lora_output = model_with_lora.generate(input_ids = input_ids,
               generation_config = GenerationConfig(
                   max_length=512,
                   max_new_token=256</