tomcat优化

1、在bin/catalina.bat文件中加入下面参数,对JVM进行优化,至于这一大驼参数的作用及说明,大家到网上找找,应该有很多的,如:http://www.mzone.cc/article/321.html

01 set JAVA_OPTS=
02-server 
03-Xms1000M 
04 -Xmx1000M   #-Xms与-Xmx设成一样的值,避免JVM因为频繁的GC导致性能大起大落
05-Xss512k 
06-XX:+AggressiveOpts 
07-XX:+UseBiasedLocking 
08-XX:PermSize=64M 
09-XX:MaxPermSize=300M 
10-XX:+DisableExplicitGC 
11-XX:MaxTenuringThreshold=31 
12-XX:+UseConcMarkSweepGC 
13-XX:+UseParNewGC  
14-XX:+CMSParallelRemarkEnabled 
15-XX:+UseCMSCompactAtFullCollection 
16-XX:LargePageSizeInBytes=128m  
17-XX:+UseFastAccessorMethods 
18-XX:+UseCMSInitiatingOccupancyOnly 
19 -Djava.awt.headless=true

 

 

上述这样的配置,基本上可以达到:

  •  系统响应时间增快

  • JVM回收速度增快同时又不影响系统的响应率

  • JVM内存最大化利用

  • 线程阻塞情况最小化

 

2、Tomcat连接参数的优化,主要是针对吞吐量做优化:

修改conf/server.xml文件,把原来

1 <Connector port="8080" protocol="HTTP/1.1" />

 

改成下面的内容

 

01   <Connector port="8080" protocol="HTTP/1.1"
02            URIEncoding="UTF-8"  
03            minSpareThreads="25" 
04            maxSpareThreads="75"
05            enableLookups="false" 
06            disableUploadTimeout="true" 
07            connectionTimeout="20000"
08            acceptCount="300"   
09            maxThreads="300" 
10            maxProcessors="1000" 
11            minProcessors="5"
12            useURIValidationHack="false"
13            compression="on" 
14            compressionMinSize="2048"
15            compressableMimeType="text/html,text/xml,text/javascript,text/css,text/plain"
16            redirectPort="8443"/>
资源下载链接为: https://pan.quark.cn/s/140386800631 通用大模型文本分类实践的基本原理是,借助大模型自身较强的理解和推理能力,在使用时需在prompt中明确分类任务目标,并详细解释每个类目概念,尤其要突出类目间的差别。 结合in-context learning思想,有效的prompt应包含分类任务介绍及细节、类目概念解释、每个类目对应的例子和待分类文本。但实际应用中,类目和样本较多易导致prompt过长,影响大模型推理效果,因此可先通过向量检索缩小范围,再由大模型做最终决策。 具体方案为:离线时提前配置好每个类目的概念及对应样本;在线时先对给定query进行向量召回,再将召回结果交给大模型决策。 该方法不更新任何模型参数,直接使用开源模型参数。其架构参考GPT-RE并结合相关实践改写,加入上下文学习以提高准确度,还使用BGE作为向量模型,K-BERT提取文本关键词,拼接召回的相似例子作为上下文输入大模型。 代码实现上,大模型用Qwen2-7B-Instruct,Embedding采用bge-base-zh-v1.5,向量库选择milvus。分类主函数的作用是在向量库中召回相似案例,拼接prompt后输入大模型。 结果方面,使用ICL时accuracy达0.94,比bert文本分类的0.98低0.04,错误类别6个,处理时添加“家居”类别,影响不大;不使用ICL时accuracy为0.88,错误58项,可能与未修改prompt有关。 优点是无需训练即可有较好结果,例子优质、类目界限清晰时效果更佳,适合围绕通用大模型api打造工具;缺点是上限不高,仅针对一个分类任务部署大模型不划算,推理速度慢,icl的token使用多,用收费api会有额外开销。 后续可优化的点是利用key-bert提取的关键词,因为核心词语有时比语意更重要。 参考资料包括
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值