论文重点记录《RACONTEUR: A Knowledgeable, Insightful, and Portable LLM-Powered Shell Command Explainer》

重点

Raconteur用如下方法做了一个垂直细分领域的LLM用于解释shell命令

（1）基于公开数据集，利用GPT3.5+Prompt构造了高质量的微调数据集，在4块A100 (80GB)对ChatGLM2-6B进行微调，微调后能力超越GPT4；

（2）微调了Text2Vec模型E5Large(embedding)： 命令行为描述到TTP之间的转换；

（3）微调了Text2Vec模型E5Large，做语义检索：命令到doc之间的查找。

目前没有看到开源代码&数据

思考

如下点值得参考

1. 如何构造垂直领域高质量数据集

   • 思路上主要是：收集不同开源数据，用GPT做augmentation等处理
     

2. 一些关系转换可以用embedding模型实现（相似性检索）

   • 比如 text to TTP

参考

1. https://raconteur-ndss.github.io/#
2. 论文：https://arxiv.org/pdf/2409.02074