- 博客(183)
- 收藏
- 关注
RSS订阅原创 RAG-202502
RAG想做出来比较容易，但想做好还是比较难的，每个步骤都有可能对最终效果产生影响。我们在RAG中也做了大量的探索，比如： 知识切分方面，做了固定字符切分的效果验证，分析索引噪音点，利用大模型做了大量的降噪处理；在query改写方面，利用大模型做了更加明确的意图抽取，并对用户的query进行降噪的探索；在数据召回方面，embedding模型基于bge、voyage和cohere做了大量的测评，探索向量+分词的召回策略；在后置处理优化上，做了知识的去重以及rerank的探索等。
2025-02-26 23:41:17
869
原创 灯塔工厂资料收集
https://www3.weforum.org/docs/WEF_GLN_Next_Chapter_CN_2023.pdfhttps://www.mckinsey.com.cn/%e5%85%a8%e7%90%83%e7%81%af%e5%a1%94%e7%bd%91%e7%bb%9c%e4%bb%8a%e6%97%a5%e5%86%8d%e8%bf%8e%e6%96%b0%ef%bc%9a%e4%b8%ad%e5%9b%bd%e7%81%af%e5%a1%94%e5%b7%a5%e5%8e%82%e7
2024-10-22 16:15:22
152
原创 大模型微调
推理方面，考虑到 RAG 本身需要检索，而且检索层为了确保检索准确，还需要很多额外工作，所以推理的耗时会比微调多，但具体多多少，就要看检索模块的复杂程度了，如果这里面还需要额外调大模型，那成本就会多很多，如果只是小模型之类的，那这个增加可以说是忽略不计。如果大模型强缺乏某个领域的知识，足量数据的微调才能让模型对该领域有基本的概念，如果不具备领域知识基础，RAG 仍旧无法正确回答。对任务模式比较简单的任务，微调能触碰到更高的上限，但是对训练、数据等方面的要求会更苛刻。RAG 对知识的更新时间和经济成本更低。
2024-09-03 23:44:26
1140
原创 NL2Sql
1、如何理解表和字段；2、如何把自然语言转化为正确的sql：含正确的表、where条件、结果字段等。3、复杂sql的处理：可使用预定义的提示词+sql模板。4、支持自定义注释。
2024-08-27 23:31:49
504
原创 装车相关算法--20240812
https://journals.nwpu.edu.cn/xbgydxxb/FileUp/HTML/20160424.htm#rhhz 一种基于启发式算法的货物装载问题的研究 https://www.sohu.com/a/796887142_121791216 悠闲装箱。https://blog.youkuaiyun.com/weixin_38442390/article/details/139601397 基于块生成&最大剩余空间的三维装箱算法。
2024-08-12 23:30:41
320
转载 大模型一般训练过程
训练大语言模型需要大量的文本数据。因此，你需要一个庞大的语料库来训练你的模型。你可以从公开的数据集中获取这些数据，也可以自己创建数据集。在选择语料库时，你需要考虑语料库的质量、多样性和领域。
2024-08-05 20:08:34
59
原创 NoSuchBeanDefinitionException
1、 是否注入了spring：检查有无@Controller、@Service、@Repository、 @Component。2、 在上下文中存在着两个 Bean，比如有一个接口 IBeanB，它有两个实现类 BeanB1 和 BeanB2。3、 通过bean名称获取bean，但是名称错误。Spring找不到该Bean的定义。4、 代理Beans？
2024-07-18 00:24:03
198
原创 OOM不会导致JVM退出
一次生产事故，由于一次性从数据库查询过多数据导致线程 OOM：Java heap space 异常（千万级表，JVM堆内存2G），但是在线程OOM发生时，java进程却没有立即挂掉。##OOM与异常堆内存不够与异常的关系线程发生OOM Java heap space，首先是堆空间不够了，然后再由jvm在申请分配空间的方法调用上抛出OOM异常。对于线程，它会像处理普通异常一样，处理OutOfMemoryError。
2024-05-22 00:45:14
519
原创 项目启动会
沟通计划 提前明确，项目的问题绝大多数都是沟通，建立固定的沟通机制，让大家按约定走，免去很多麻烦。具体做什么实现过去到将来的跨越。与BRD需求描述类似。让观众：明确为什么要做这个项目 与BRD项目背景类似。与BRD商业价值类似。做项目后的美好前景，解决什么问题就算成功，2 项目意义、目的与目标 “我们去哪里”3 需求、功能点概述 “我们怎么去”4 项目组织架构 明确有什么事找谁做。干系人到场，信息通知，后续合作。1 项目背景 “我们在哪里”1． 项目的时间点与里程碑；当前的“悲惨境地”，
2024-02-27 00:37:00
431
原创 AssertionError: Torch not compiled with CUDA enabled
地址：https://mirror.sjtu.edu.cn/pytorch-wheels/cu121/?经查阅，这个问题是因为conda默认安装的是CPU版本的torch，应该使用GPU版本的。如果直接从资料库安装，很慢，建议下载后手工安装。我的是12.0，算比较新的，就不更新了。这种不带后缀的，就CPU版本的。命令：nvidia-smi。
2024-01-23 00:02:37
1078
原创 浏览器兼容设置
原因：放在body最后加载的css，html已经完成渲染，即使加载完css也用不上了。法1：使用ie支持的选择标签，只对ie有效，对其他浏览被当做注释。ps：默认加载新样式；增加ie的选择标签。法2：console在非调试模式下无效？法3：直接设置element的style。
2023-12-28 00:04:46
443
原创 决策树与随机森林
纯度、不纯度：根据某个属性分割数据集，样本类型的集中度，纯度越高越高。训练数据、测试数据都是来自已知的数据集，然后划分为2部分，一部分训练、一部分测试（验证），也就是在已知的数据集内完成训练和验证，才能去预测实战。随机，指构造单棵决策树时，随机的选择样本，使得决策树是不同，或者侧重不同的能力。2.利用属性、属性值构造一个决策的路径，可类比程序的if_else的多层判断。与感性的分配有差异，属性排序：婚姻、有房者、年收入。问题：因为属性、属性性值、先后顺序，决策树有指数个肯能，哪个是最优？
2023-08-03 17:26:52
1916
1
原创 MySql基础_2常用语句
=========== 基础SQL ======================== 基础SQL ============
2023-07-20 19:30:25
125
原创 NPE错误的场景原因和解决方法
1、空对象，访问空对象的方法或属性；2、空数组，访问空数组的size()或内容；3、基本类型，自动拆箱；如函数返回int，内部实际是Integer，如果是null时，则NPE。4、数据库查询的结果可以是null；eg：mybatis的Emp emp = baseMapper.selectById(“0”)，使用错误的查询条件。5、级联调用容易出现NPE。6、数组不为空，但对象的某个属性为空。
2023-06-07 00:18:18
1396
原创 在线清空nohup
两个可以不用停止服务就可清空nohup.out的命令第一种：cp /dev/null nohup.out第二种：cat /dev/null > nohup.out。
2023-02-18 10:03:24
647
原创 Maven扫盲--20230214
依赖和构建工具。依赖：解决包从哪里找？依赖嵌套的依赖？版本冲突。构建：编译，打包，发布(指推送到mvn资料库，不是运维意义的发版)。
2023-02-14 00:25:18
286
原创 nested exception is org.apache.ibatis.binding.BindingException: Parameter ‘XXX‘ not found
使用mybatis中，报错”-nested exception is org.apache.ibatis.binding.BindingException: Parameter ‘XXX’ not found“
2023-01-18 11:21:20
1496
原创 Tij12_finally的覆盖与不覆盖
在异常章节的学习中，Java虚拟机在每个try语句块和与其相关的catch子句的结尾 处都会“调用”finally子句的子例程。实际上，finally子句在方法内部的表现很象“微型子例程”。finally“微型子例程”不等同于方法函数的调用，finally子句都是在同一个栈内执行的，微型子例程的“返回”操作也不会涉及到方法退栈，仅仅是使程序计数器pc跳转到同一个方法的一个不同的位置继续执行。３) 把局部变量(指temp)的值push到操作数栈顶，然后返回到调用方法。第二个：返回了finally中的值。
2022-12-01 23:53:54
125
原创 Tij12_异常：while实现恢复模型
java的异常处理默认是中断模型，即当异常发生时中断当前执行，跳转到异常处理机制。部分场景下，恢复模型也需要，如检查入参直到允许执行。
2022-11-19 00:16:01
154
原创 Command 模式
关键点是把动作变成了对象，新增动作，变为新增对象。从设计原则上讲，满足开闭原则。comman模式的最主要优点是解耦了调用者和实际执行者，这个点必须时刻铭记。相反的例子是，调用者知道了如何执行的细节。
2022-10-17 23:39:07
360
原创 一个nginx部署多个应用及nginx总结
参数server的配置是指虚拟的server；比如可以监听相同的端口。这点与后端的应用不同，后端如果监听相同端口，会报端口冲突。server.location参数：可以指定本地目录，做直接访问；也可以转发，也就是逆向代理。逆向代理也是实现跨域的一种方式：老web中，直接暴露了后端，浏览器直接对后端请求，后端设置了允许跨域；新web中，webpack支持代理（部署时同样配置nginx的代理），前端访问的特定开头的url(/api)。
2022-10-13 15:17:29
2839
原创 【Http Referer】
是http请求头里的一个属性，用来表示本次请求从哪个网站url过来的，想象为“引荐人”浏览器自动填写，也可通过html标签控制是否填写。
2022-09-27 17:24:33
388
原创 Nginx日志格式说明
默认位置在nginx安装目录下的：logs/access.log也可修改日志配置，在配置文件中：conf/nginx.conf日志格式参数：log_format日志位置参数：access_log。
2022-09-27 16:52:51
1914
原创 adapter 模式
属于结构模式（持有或继承被适配的类）。对功能类进行包装，转换成客户端希望的样子，所以也叫包装模式。实现比较直观，比较简单，就是加了一层封装。
2022-09-14 00:05:32
237
原创 责任链模式
因为：代码结构是：处理request–>责任链调用（递归）–>处理response；&：如果是遍历型的，不可以直接拼接，需要拼接的chain也实现doFilter；如果是链表型的，可以拼接，因为拼接的链表对外暴露的也是第1个节点的filter；如果是"复杂型"的，可以了拼接，因为chain也是Filter的实现。责任链调用会持续一层层调用，直到最深层返回后，再一层层执行。对handler变动、阀值调整，都需要调整client。1.client：调用者，发出消息。1.client：调用者，发出消息。...
2022-08-30 23:59:54
279
原创 组合(composition)与聚合(aggregation)的区别
thinking in Java》里面是这样说的，“composing a new class from existing classes, this concept is called composition (if the composition happens dynamically, it’s usually called aggregation)”。意思是通过现在的类组合成一个新的类，叫做组合；如果这种组合是动态的，则叫聚合。...
2022-08-30 14:25:12
659
原创 TIJ14_类型信息
Rtti与多态：尽量使用多态；rtti是对多态的补充。反射更动态、更多运行时异常rtti的引入的目的：对多态的补充，更精确的识别子类行，执行特定操作rtti的实现方式：Class对象，及常用方法反射，另外的rtti类型；普通rtti，编译时是知道了具体类的类型信息；反射是运行时不知道类型信息。经典的使用场景：动态代理、事务处理。...
2022-08-07 00:22:44
209
原创 如何理解CROS
还沿用当初自己对这块的几个疑问，回答疑问的过程，也是梳理的过程。&：前后端分离的应用，前端、后端是2个独立的应用，运行在不同端口。在浏览器看来，是不同的域。前端页面中的ajax请求后端接口，即是跨域访问了，触发cros。&：有多种方法，其中1个是在后端应用设置允许放入的来访域请求。对应的后端也支持了preflight（option）请求。springboot有现成方法。eg：3.浏览器是如何控制cros的？&：浏览器对跨域请求，发出preflight；得到后端响应，看响应header中允许的来访域是
2022-07-09 16:24:20
4661
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人