Question your own opinion twice and more

通过参与项目E的经历,作者深入探讨了需求调研的重要性以及在软件开发过程中如何有效利用开源组件。通过对同事观点的质疑和对开源组件功能的验证,强调了在实践中不断验证想法的必要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  如何让自己的想法和见解经得起别人的推敲,经得住实践的检验,我认为需要不断的从多角度的质疑自己的想法,这样才可以最大范围发现存在的问题,这种事情在项目E中出现了多次。

  说起项目E,我已经在里边待了有一个月时间了,从需求上项目实施过程中出现了许许多多的问题。前两天发现系统提供多sheet导入而不提供多sheet导出,需求规格说明书也是这样,咨询了当时参与需求调研的同事W,她说“用户只提出多sheet导入的需求没有多sheet导出需求”,但是从用户导入的需求中我们发现,用户所使用的导入文件正是从系统导出后进行修改的文件,也就是说如果我们没有提供多sheet导出,用户需要导出多份excle文件并手工进行合并后导入。同事W的说法毫无疑问需要被质疑,需求是挖掘出来的不是仅仅当一的用户说什么就是什么,需求调研的职责是更多的发现潜在需求给客户提供建议,而不是一味的与客户确认。事后同事W接受我们的建议,同样认为需要提供多sheet导出功能。

  恰巧多sheet导出的工作是我负责,工程使用的导出技术是开源jxl模板技术,开发时查看了Document发现jxl的转换器有提供mutipleSheetTransform方法,调用也挺简单,但是按照Document中的指示调用后产生的文件,要么规格不对要么就是数据没有,是我错了还是它错了(其实我们不只一次在开源组件上载过跟头,所以我有理由质疑是不是它错了),无奈之下上SourceForge下载tansformer的源代码一窥究竟,发现其中多sheet的转换逻辑有误,马上进行修复并正常应用到系统中使用。事后有些得意,而正是“得意”在本周一直困扰着我,中国有句成语叫“得意忘形”,我脑子里一直在想是不是“得意”让我忽略了某些东西,所以我的做法需要从不同方面被质疑,其实现在并没有其他更多关于该接口逻辑有问题的说法,会不会是转换器提供的多sheet接口应用场景与我们的需求不一致呢?最后我决定改正之前的错误,在没有确凿证据之前我不能认为转换器提供的接口有误,我应该扩展实现自己应用场景的接口而不是修改原有接口并使用。

  还记得同事L说过的一句话,“任何事情都可以质疑”,如果可以在真正付诸实践之前就从多方面质疑考证自己的想法和见解,那么你的想法和见解必将站的更加稳固。
资源下载链接为: https://pan.quark.cn/s/140386800631 通用大模型文本分类实践的基本原理是,借助大模型自身较强的理解和推理能力,在使用时需在prompt中明确分类任务目标,并详细解释每个类目概念,尤其要突出类目间的差别。 结合in-context learning思想,有效的prompt应包含分类任务介绍及细节、类目概念解释、每个类目对应的例子和待分类文本。但实际应用中,类目和样本较多易导致prompt过长,影响大模型推理效果,因此可先通过向量检索缩小范围,再由大模型做最终决策。 具体方案为:离线时提前配置好每个类目的概念及对应样本;在线时先对给定query进行向量召回,再将召回结果交给大模型决策。 该方法不更新任何模型参数,直接使用开源模型参数。其架构参考GPT-RE并结合相关实践改写,加入上下文学习以提高准确度,还使用BGE作为向量模型,K-BERT提取文本关键词,拼接召回的相似例子作为上下文输入大模型。 代码实现上,大模型用Qwen2-7B-Instruct,Embedding采用bge-base-zh-v1.5,向量库选择milvus。分类主函数的作用是在向量库中召回相似案例,拼接prompt后输入大模型。 结果方面,使用ICL时accuracy达0.94,比bert文本分类的0.98低0.04,错误类别6个,处理时添加“家居”类别,影响不大;不使用ICL时accuracy为0.88,错误58项,可能与未修改prompt有关。 优点是无需训练即可有较好结果,例子优质、类目界限清晰时效果更佳,适合围绕通用大模型api打造工具;缺点是上限不高,仅针对一个分类任务部署大模型不划算,推理速度慢,icl的token使用多,用收费api会有额外开销。 后续可优化的点是利用key-bert提取的关键词,因为核心词语有时比语意更重要。 参考资料包括
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值