- 博客(107)
- 收藏
- 关注
RSS订阅原创 自定义RAG评估数据流
因为我们要对上面构建的数据集添加一些内容，比如检索出来的数据，评分指标等，所以我们把他封装在一个自定义item类中进行操作，然后把item放进自己构建的dataset类中。如果没有传递data,那么根据路径进行加载，一行一样的进行读取 ，最后data列表中是一个个的item对象。这是子类方法写的一个评估的实例，首先肯定是拿到 生成的答案和金标准答案，然后通过自己写的计算方式进行评估。然后构建提示模版，根据传递的模型类型判断是生成chat类还是instruct类的提示模版。此时我们已经拿到所有的数据。
2025-02-17 23:07:24
164
原创 通用知识库问答流程
总体流程，定义回调（函数执行完把回答的内容填充到数据库），使用封装的fastchat获取调用的模型，根据向量数据库名，获取向量数据库实例这是ssl 长连接的一种标准写法，首先写一个 生成器函数，也就是下面挨着的这个，然后把这个函数放到EventSourceResponse使用封装的函数获取调用的模型。
2025-02-16 20:09:20
273
原创 pdf文件的读取，基于深度学习的方法
需要安装一些依赖解析 PDF 文件的详细指南_unstructured.partition.pdf-优快云博客通过 unstructured.partition.pdf 函数，可以方便地解析 PDF 文件并提取其中的文本和表格内容。尽管在使用过程中可能会遇到一些错误，但通过正确的安装和配置依赖项，以及尝试其他 PDF 解析库，可以有效地解决这些问题。本文将介绍如何使用 unstructured.partition.pdf 函数来解析 PDF 文件，并提取其中的文本和表格内容。
2025-02-15 09:37:05
1327
原创 大模型融入推荐系统
结合项目实际给用户推荐，比如是商家项目，用户问了几个关于商品的信息，大模型就可以根据根据用户画像，给用户推荐商品。我们现在做的是针对于用户学习的推荐，首先我们要对我们的数据进行处理，提取出我们数据的一些特征首先这个文件夹下可以放一些文件当做子目录，这些子目录就可以当做一些course遍历文件，转换为markdown,然后读取里面的标题内存，然后存储到csv文件中。此时还缺少摘要，所以我们用大模型来读取内容从而生成摘要。然后生成摘要。
2025-02-10 22:37:45
514
原创 大模型联网查询，以及milvus向量数据库的使用
首先先不要回答，根据用户的提问先进行联网搜索是aiohttp库中的一个，用于执行 HTTP 请求（如GETPOSTPUT等）。它提供了的方式来发送 HTTP 请求，适用于高并发场景，如爬虫、API 调用等。对检索到的网页重排序# 对经过rerank 的 网站，提取主体内容加载url中的全部信息，转化为text,在转换为makedown,然后切分为chunks,加载到向量数据库中。
2025-02-10 19:04:40
383
原创 fastchat 部署大模型
使用FastChat部署大模型流程图假如你已经部署一个Llama3.1-8B的模型，以启动OpenAI API服务为例,各个组件之间的关系Controller负责管理分布式模型实例# 默认端口21001Model Worker是大模型服务实例，它在启动时向Controller注册# 默认端口21002。大模型实战--FastChat一行代码实现部署和各个组件详解_fastchat部署-优快云博客。大模型实战--Llama3.1大模型部署及启动Web UI、OpenAI API实操 - 简书。
2025-02-08 20:36:19
370
原创 langchian的提示模版，输出解析器 示例
在LangChain中，基本采用了Python的原生`str.format()`方法对输入数据进行格式化，这样在模型接收输入前，可以根据需要对数据进行预处理和结构化，以此来引导大模型进行更准确的推理。从输出上看，其构造函数在实例化prompt_template时，主要由两个关键参数进行指定：- `input_variables`：这是一个列表，包含模板中需要动态填充的变量名。这些变量名在模板字符串中以花括号（如{name}）标记。通过指定这些变量，可以在后续过程中动态地替换这些占位符。
2025-02-08 12:11:59
299
原创 RAG 与历史信息相结合
Step 14. 组装 RAG 链条：该链代表完整的工作流程，其中历史感知检索器首先处理查询以合并任何相关的历史上下文，然后由 question_answer_chain 处理处理后的查询以生成最终答案。在提示结构中合并了一个名为“chat_history”的变量，它充当历史消息的占位符。此提示告诉模型接收聊天历史记录和用户的最新问题，然后重新表述问题，以便可以独立于聊天历史记录来理解问题。# 该字符串设置语言模型的指令，指示它使用提供的上下文来简洁地回答问题。中间省略加载文档并切分文档。
2025-02-03 18:44:37
328
原创 加载数据，并切分
Step 4. 使用 RecursiveCharacterTextSplitter 将内容分割成更小的块，这有助于通过将长文本分解为可管理的大小并有一些重叠来保留上下文来管理长文本。step 5. Chroma 使用 GLM 4 的 Embedding 模型 提供的嵌入从这些块创建向量存储，从而促进高效检索。因为向量数据库在langchain中接受到的是一个对象，而不是一个列表，所以我们要对智普的模型做一个封装，需要重写两个方法。这只是一个例子，实际存储到向量数据库的时候不能直接这样用。
2025-02-03 14:39:20
225
原创 RouterChain
定义查询天气的chain("system", "您是一位非常善于做气象数据分析的教授，具有10年以上丰富的行业经验。"),("human", "这是实时的天气数据：{input}"),("human", "请您根据上述实时的气象数据，给出合理的出行建议。"),# 使用`LLMChain`构建第一个基本链路，专门处理实时天气数据。该链路的目标是进行气象分析，并据此提供出行建议。("system", "你是一位智能收发邮件的AI小助手，工作效率极高，"),
2025-02-02 16:10:55
1043
原创 大模型起源与发展-课程笔记
3.mask的数量和替换方式：15%的词汇被mask掉，其中80%替换为mask，10%替换为随机词汇，10%保持原样。gpu可以并行处理，因为RNN是前后文依赖的所以不能并行运算，但是transformer前后没有依赖关系，所以可以并行运算（不用先学完一年级再去学二年级）首先在无监督学习进行一个预训练，然后 在有监督的情况下进行一个微调，做下游任务。右图中的squad，ner,,uli是数据集，是根据不同的任务做微调。可以捕获句子级别的语义关系，理解了语义就能过更多的任务了。BERT模型的预训练方法。
2025-01-17 14:36:59
237
原创 SQLAlchemy
这样会出错，因为对象还没真正存入数据库，所以主键id就没生成，可以采用 flush() 刷新进去，但是多了之后不知道哪里需要flush(),所以有了relationship。只加员工对象就可以，他会直接把部门对象也创建出来，依据有没有id判断是存在 还是不存在，在这里，我们定义模块级构造，这些构造将构成我们从数据库中查询的结构。并不需要专门定义一个类，如果专门定义一个类，那么就成为了多个一对多的映射。是 SQLAlchemy 中的一个关键语句，它用于定义一个基础类（当一些字段重复是可以单独定义出来。
2025-01-12 23:28:48
1104
原创 python中async await用法
在Python中，async和await是一对配合使用的关键字，用于定义异步函数和在异步函数中等待其他异步操作完成，函数被。
2025-01-12 15:26:03
1032
1
原创 fastapi 使用
参考：FastAPI 用于基于标准 Python 类型提示使用 Python 构建 API，使用 ASGI 的标准来构建 Python Web 框架和服务器。将其复制到main.py文件中。
2025-01-12 11:14:42
528
原创 python 中的列表推导式
（List Comprehension）是一种简洁的方式来创建新的列表。它允许你使用一行代码从现有的可迭代对象（如列表、元组、字符串等）生成新列表。
2024-12-23 09:40:46
189
原创 re.match() python
通过re.match匹配成功，可以使⽤group⽅法来提取数据。group() 同group（0）就是匹配正则表达式整体结果，group(1) 列出第一个括号匹配部分，group(2) 列出第二个括号匹配部分。
2024-12-23 09:34:02
221
原创 订单派单调度
首先通过redisTemplate.opsForZSet().rangeByScore()方法取出派单池中的一批订单。调用 dispatch(Long id)方法通过线程池执行。注意阅读策略模式和责任链模式的代码。
2024-12-12 20:22:43
668
1
原创 派单调度啊
责任链模式是一种行为型设计模式，它允许你将请求沿着处理者链进行传递，直到有一个处理者处理请求为止。每个处理者都可以决定是否将请求传递给下一个处理者。根据派单的需求，根据订单信息从服务提供池中获取师傅及机构的信息，通过距离优先规则、评分优先规则等最终获取一个要派单的服务或机构。下图描述了按距离优先派单的过程：下边用责任链模式实现。/***//*** 根据派单规则过滤服务人员* @return*//*** 获取下一级规则* @return*/根据需求定义距离优先规则。
2024-12-12 19:33:39
1478
原创 订单统计与导入导出
首先编写SQL：这里面的SQL是行变列，并把数据封装到一个list的实体类中</select>...只统计一部分，另外一部分用流的形式统计@Service@Slf4j@Override//统计15天以内的订单// 按天统计订单，计算订单总数、均价等信息// 订单总数// 实付订单均价} else {//RoundingMode.HALF_DOWN 表示四舍五入 向下舍弃，如2.345，保留两位小数为2.34...定时任务@Service@Override。
2024-12-11 19:24:52
1030
原创 到家 冷热分离
本项目除了将订单完成15日的订单迁移到历史订单数据库，还需要对订单数据进行分析，所以通过Canal+MQ将完成的订单（完成、取消、关闭）迁移到历史订单数据库，在历史订单服务对订单数据进行统计分析，并通过定时任务迁移冷数据。根据冷热分离方案，当订单完成，取消、关闭时将订单信息写入同步表，再通过Canal+MQ同步到历史订单数据库的待迁移表，Canal+MQ同步的代码我们之前做过，这里我们阅读代码理解订单同步的过程。方法将订单数据同步上边两张同步表当中。订单数据库存储的是热数据，历史订单数据库存储冷数据。
2024-12-11 13:43:33
1016
原创 ES 7。20 以上版本 使用lambda 表达式写java的es查询
【代码】ES 7。20 以上版本 使用lambda 表达式写java的es查询。
2024-11-21 09:24:48
129
1
原创 云岚到家抢单
核心业务流程首先明确本模块在核心业务流程的位置，下图是项目的核心业务流程：用户下单后服务人员通过app进行抢单，机构通过pc进行抢单，抢单成功后服务人员开始现场服务。
2024-11-21 09:23:38
943
原创 云岚到家 秒杀抢购-分布式事务
遇到了分布式事务的场景我们该如何去进行事务控制呢，本节学习如何选型分布式事务的控制方案。CAP是 Consistency、Availability、Partition tolerance三个词语的缩写，分别表示一致性、可用性、分区容忍性。一致性:向系统写一个新数据再次读取到的也一定是这个新数据。拿上图举例，请求订单服务下单，订单服务请求库存服务扣减库存，只要下单成功则库存扣减成功。任何时间都可以访问订单服务和库存服务，系统保证可用。
2024-11-16 16:04:42
920
原创 云岚到家 秒杀抢购
我们通过定时任务更新活动的状态，定时任务事前把一个月以内的所有待开始以及进行中的活动保存到redis中，这里存在一个问题就是活动的状态存在一定的延迟。所以我们在查询的时候把redis中的数据取出来，根据当前时间在进行判断一次，然后啊过滤出符合条件的数据返回给前端。前端也可进行倒计时。到时间了 把活动添加进去即可。通过定时任务更新活动状态，如何解决活动状态实时更新的问题？前端请求后端接口查询活动信息后端接口从redis查询活动信息，并根据活动开始和结束时间判断活动的最新状态。
2024-11-11 16:07:09
813
原创 云岚到家 即刻体检 优惠卷管理 总结不熟练的点
最好定义一个实体类来接收，否则难转化，map的话 需要用list<map> 因为会死多行 两列，map的话 key就是列名，值才是数据 map.get(status) map.get(count) 这样比较麻烦 ，定义一个实体类接受比较好。读的时候 首先写一个监听器，每读到一行数据都会触发invoke方法。读的时候都是都是以string 读入的，然后自己进行转换。使用阿里的easyexcel ，直接查看官方文档即可。date 是string类型的。last一般与limit配合。
2024-10-27 22:20:50
358
原创 云岚到家系统优化
当执行状态变更事件会伴随着执行具体的动作，此部分对应状态机四要素中的动作。定义订单支付成功动作类，实现StatusChangeHandler接口，泛型中指定快照类型。此动作是订单支付成功执行的动作。动作类的bean名称为"状态机名称_事件名称"，例如下边的动作类bean的名称为order_payed，表示order状态机的payed事件。定义订单状态机类。
2024-10-23 21:44:25
971
转载 云岚到家 支付实现
小程序调起支付这里，微信会校验小程序的与是否绑定，微信支付商户的ID怎么获取呢？是需要注册商户上传企业资料及法人资料，微信审核通过后方可 注册成功，所以注册成为一个普通商户对大家有限制。小程序不能通过拉起H5页面做jsapi支付，小程序内只能使用小程序支付。
2024-10-18 22:40:20
1043
原创 MyBatis之ResultMap的association和collection
ResultMap collection多层嵌套使用ResultMap介绍在Mybatis使用中，ResultMap是最复杂的一种结构，也是功能最强大的结构之一。通过ResultMap能够将复杂的1对多的结果集映射到一个实体当中去，可以借助Mybatis来将复杂结构的数据对象映射到一个结果集中组装好。如果数据库中的字段类型和 Java 对象的属性类型一致，可以省略 jdbcType 属性。但是，在数据库和 Java 对象之间存在类型差异时，使用 jdbcType 属性来指定数据库字段的类型是非常必要的。
2024-10-09 14:48:07
962
1
原创 云岚到家，使用Elasticsearch实现服务的搜索功能，使用Canal+MQ完成服务信息与ES索引同步。MQ
项目使用Elasticsearch是实现了门户上对服务的搜索。平台上的服务数据是并不是很多，全国所有区域下的服务信息加一起几千条，之所以使用Elasticsearch是因为：1、公司架构师在系统架构时考虑几年后的数据及对全文检索使用的需求使用了Elasticsearch.2、对服务信息进行搜索使用的是全文检索方式，虽然MySQL也支持全文检索但是我们这个接口是面向 C端用户且对接口性能有要求，所以使用了ES。3、虽然现在数据量不大考虑几年后的数据量增长问题，我们使用了Elasticsearch。
2024-10-08 22:24:30
1218
原创 云岚到家xxl job 配置
负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码；主要职责为执行器管理、任务管理、监控运维、日志管理等负责接收调度请求并执行任务逻辑；主要职责是执行任务，执行代码、执行结果上报、日志服务等使用XXL-JOB就可以解决使用多个jvm进程重复执行任务的问题，XXL-JOB调度中心可以配置路由策略，比如：第一个、轮询策略、分片等，它们分别表示的意义如下：第一个：即每次执行任务都由第一个执行器去执行。轮询：即执行器轮番执行。分片：每次执行任务广播给每个执行器让他们同时执行任务。
2024-10-02 16:28:23
493
原创 云岚到家第三章门户：spring cache，Spring data redis
常用的有Jedis和Lettuce两个访问redis的客户端库 ，其中Lettuce的性能和并发性要好一些，Spring Boot 默认使用的是 Lettuce 作为 Redis 的客户端。本项目集成了Spring data redis框架，在项目中可以通过RedisTemplate访问Redis，RedisTemplate提供了方便访问redis的模板方法。RedisTemplate适用于灵活操作redis的场景，通过RedisTemplate的API灵活访问Redis。redis是一个缓存的服务端，
2024-09-27 23:09:27
526
原创 清美项目 vue总结
提交表单验证时，通过refs访问到该实例，然后进行验证，他就会去演这rules 里面的规则。访问到这个组件实例。这通常用于触发某些方法，如表单验证、重置表单等。属性用于绑定表单的数据模型对象。这个对象包含了表单的所有字段及其值。属性用于给当前组件设置一个引用标识，可以在父组件中通过。rules是绑定的校验时判断的条件。
2024-09-26 15:05:25
361
原创 云岚到家 第一天实战总结
后端controller 参数上如果没写任何注解，就是默认的@requestparam 注解（因为如果前端传递的参数与上参数一致，@requestparam可以不写），@requestparam 注解就是从url上去取参数。
2024-09-24 22:00:11
376
原创 地图定位流程
用户端在小程序认证通过后会自动进行定位，也可以在首页手动定位，定位成功后用户在查询家政服务项目时会根据定位的城市查询该城市有哪些服务项目。
2024-09-23 21:50:40
498
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人