车轮与产品

          我们现在每个项目组都在重复的造车轮子,为什么呢?因为客户的需求都不是一样的,每一个客户都要自己的车轮,那我们就要满足客户的需要,造出各种各样的车轮。当然造车轮的方法很多,可以拷贝一个已有的轮子,在其基础上改造一番,就成了一个新车轮,或自己再重新做一个,或照葫芦画瓢模范一个。结果就是累,不堪重负,每一个项目都有很多辛勤耕耘的人,累也没有办法。这样就很多问题,追究原因很多,客户的需求天天变,我们没有完全弄明白客户的需求,客户的需要和我们的理解中间有距离,以前做某个功能的人的水平低等等,总之我们就要反反复复。又开始一个新项目,厄运又重新开始了。
          我们为什么天天造车轮呢?为什么不造一个生产车轮的工具(功能)呢?有人说公司的框架就是一个工具,我们在框架的基础上开发车轮。事情是这样吗?回头看看我们的框架,它只不过是能满足开发各种产品的平台,能开发各种产品的意义就是不能很快速的开发出一类产品。我们该怎么做呢?既然基础有了,我们就该在基础上做事情。造车轮的材料有了,我们要在现有材料的基础上做一个能造出车轮的车轮工具来,这样才能适应多变的客户需求,迅速响应,快速的造一个车轮。
          框架就是为造产品准备材料的工具集,当然也能造一个具体的事物,但这不是他真正存在的目的,它是一个基础的东西,有具体的业务功能没有关系,使我们迅速开发产品的一个工具。
          产品就是能迅速开发项目的工具,包含项目所需要的各种工具集,有造车轮的工具,有造车轮的工具,有造斧子的工具,有造马的工具等等,这样就成为一个针对特种行业产品。
           如何用框架开发能造一类相似功能的工具呢?我们在做项目时,不要想开发一个具体的车轮,要想开发一个能造出车轮的工具来。这样就要求我们从整体上去把握需求,从长远的角度去考虑问题,用发展的眼光去设计我们的业务框架,做到一劳永逸,而不是一味的做重复的事情。
         有个问题是我们必须面对的就是项目的工期,每一个项目都有其固定的时间,我们怎样在有限的时间里做有意义的事情呢?在某类项目开始时,就要开始着手开发一个造车轮的业务工具。当时必然是需求了解的比较少,不能成为某个领域的专家,不能做一个完美的造车轮工具,我们的目标就是一个能满足现在的需求就行。以后的项目,要在原来的造车轮的工具上继续开发,前提是兼容以前所作项目的需求,这就需要有以前所有所作项目的需求文档,各个项目的文档要有,从各个项目的文档中整理出来的一份既系统又全面的需求文档,现在开发造车轮工具的目的是满足当前的需要。这样项目做的越多,产品就越全面。产品积累时间久了,又一个问题浮出水面,产品肯定会有很多毒瘤,该如何解决?产品版本的升级能解决这个问题,一个版本的升级必然是要在先前版本的基础上有重大的突破,而不是商业价值的炒作升级,炒作没有任何意义。

 
资源下载链接为: https://pan.quark.cn/s/140386800631 通用大模型文本分类实践的基本原理是,借助大模型自身较强的理解和推理能力,在使用时需在prompt中明确分类任务目标,并详细解释每个类目概念,尤其要突出类目间的差别。 结合in-context learning思想,有效的prompt应包含分类任务介绍及细节、类目概念解释、每个类目对应的例子和待分类文本。但实际应用中,类目和样本较多易导致prompt过长,影响大模型推理效果,因此可先通过向量检索缩小范围,再由大模型做最终决策。 具体方案为:离线时提前配置好每个类目的概念及对应样本;在线时先对给定query进行向量召回,再将召回结果交给大模型决策。 该方法不更新任何模型参数,直接使用开源模型参数。其架构参考GPT-RE并结合相关实践改写,加入上下文学习以提高准确度,还使用BGE作为向量模型,K-BERT提取文本关键词,拼接召回的相似例子作为上下文输入大模型。 代码实现上,大模型用Qwen2-7B-Instruct,Embedding采用bge-base-zh-v1.5,向量库选择milvus。分类主函数的作用是在向量库中召回相似案例,拼接prompt后输入大模型。 结果方面,使用ICL时accuracy达0.94,比bert文本分类的0.98低0.04,错误类别6个,处理时添加“家居”类别,影响不大;不使用ICL时accuracy为0.88,错误58项,可能未修改prompt有关。 优点是无需训练即可有较好结果,例子优质、类目界限清晰时效果更佳,适合围绕通用大模型api打造工具;缺点是上限不高,仅针对一个分类任务部署大模型不划算,推理速度慢,icl的token使用多,用收费api会有额外开销。 后续可优化的点是利用key-bert提取的关键词,因为核心词语有时比语意更重要。 参考资料包括
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值