修改ASE排序集

sp_configure 'default sortorder id', 163, utf8
go

再重启服务器,需要连续重启2次服务器

可装载的排序顺序
  名称     ID     说明
cp932bin  129    日语 cp932
gb3213bn  137    中文 gb2312
cyrdict   140    古斯拉夫语,字典
turdict   155    土耳其语,字典
euckscbn  161    朝鲜语 euckcs
gbpinyin  163    中文 gb2312 拼音
rusdict   165    俄语,字典
sjisbin   179    日语,sjis 二进制
big5bin   194    中文 b165
若要在 Adaptive Server 中查看这个排序顺序列表,可使用 sp_helpsort 系统过程。有关 sp_helpsort 的详细信息,请参见参考手册:过程 中的第 1 章“系统过程” 。
可使用 $SYBASE/collate/Unicode 目录中的外部文件来添加排序顺序。名称与归类 ID 存储在 SYSCHARSETS 中。在设置缺省 Unicode 排序顺序之前,外部 Unicode 排序顺序名称不必在 SYSCHARSETS 中。
注释   外部 Unicode 排序顺序由 Sybase 提供。并不试图创建外部 Unicode 排序顺序。

期间遇到问题

isql -J cp936 登录时,报错
Msg 2420, Level 17, State 1:
Server 'DSFY100':
Unable to load Unicode-based character set conversion table 'CP936' - Unicode conversion cache is full. Please notify your system administrator to add mode unicode buffers.
No conversions will be done.

sp_configure 'size of unilib cache', 100000
go

size of unilib cache
确定 Unilib 高速缓存的大小。size of unilib cache 指定所使用的内存大小(以字节计算,向上舍入到最接近的 1K)加上最小开销大小,该大小可以提供足够的内存来装载最大的 Unilib 转换表的单个副本。对于亚洲客户想要通过基于 Unicode 的转换支持的每一附加字符集,他们最好再将 size of unilib cache 增加 100K。

测试数据

use DB_BD
go

drop table T_TEST
go

create table T_TEST (v  varchar(10))
go

insert into T_TEST(v) values ('一')
insert into T_TEST(v) values ('二')
insert into T_TEST(v) values ('三')
insert into T_TEST(v) values ('四')
insert into T_TEST(v) values ('五')
insert into T_TEST(v) values ('六')
insert into T_TEST(v) values ('七')
go
insert into T_TEST(v) values ('八')
go

select @@client_csname
go

select * from T_TEST order by v desc
go

v
----------







资源下载链接为: https://pan.quark.cn/s/140386800631 通用大模型文本分类实践的基本原理是,借助大模型自身较强的理解和推理能力,在使用时需在prompt中明确分类任务目标,并详细解释每个类目概念,尤其要突出类目间的差别。 结合in-context learning思想,有效的prompt应包含分类任务介绍及细节、类目概念解释、每个类目对应的例子和待分类文本。但实际应用中,类目和样本较多易导致prompt过长,影响大模型推理效果,因此可先通过向量检索缩小范围,再由大模型做最终决策。 具体方案为:离线时提前配置好每个类目的概念及对应样本;在线时先对给定query进行向量召回,再将召回结果交给大模型决策。 该方法不更新任何模型参数,直接使用开源模型参数。其架构参考GPT-RE并结合相关实践改写,加入上下文学习以提高准确度,还使用BGE作为向量模型,K-BERT提取文本关键词,拼接召回的相似例子作为上下文输入大模型。 代码实现上,大模型用Qwen2-7B-Instruct,Embedding采用bge-base-zh-v1.5,向量库选择milvus。分类主函数的作用是在向量库中召回相似案例,拼接prompt后输入大模型。 结果方面,使用ICL时accuracy达0.94,比bert文本分类的0.98低0.04,错误类别6个,处理时添加“家居”类别,影响不大;不使用ICL时accuracy为0.88,错误58项,可能与未修改prompt有关。 优点是无需训练即可有较好结果,例子优质、类目界限清晰时效果更佳,适合围绕通用大模型api打造工具;缺点是上限不高,仅针对一个分类任务部署大模型不划算,推理速度慢,icl的token使用多,用收费api会有额外开销。 后续可优化的点是利用key-bert提取的关键词,因为核心词语有时比语意更重要。 参考资料包括
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值