- 博客(87)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Day 1【场景名称】架构决策记录 (ADR) 自动生成 — 从「口头决定」到「可追溯决策文档」
摘要： 团队技术决策常因缺乏记录导致重复调研或决策失效（如新成员重走老路、前提变更未察觉）。解决方案是通过AI辅助生成架构决策记录(ADR)，实现： 结构化提取：从会议/聊天记录中识别技术选型等关键决策； 标准化模板：记录背景、备选方案、理由及前提条件； 动态评估：定期检查决策是否因技术/业务变化需调整。 核心价值：不替代决策，而是确保决策过程可追溯，避免“遗忘成本”。需注意人工校准决策理由及定期维护，防止文档过时。 （字数：149）
2026-08-05 10:09:47
172
原创 大模型微调(Fine Tuning)
文章摘要：本文系统阐述了大语言模型（LLM）的核心原理、结构及微调方法。大模型本质是千亿级参数的数学函数，通过自回归生成文本。模型发展形成预训练-监督微调-对齐三阶段范式。适配方法包括提示词工程、微调和检索增强生成（RAG），需根据场景渐进式选择。微调流程涵盖模型选择、数据准备、训练和验证，重点介绍了LoRA和QLoRA等高效微调技术。文章还提供了基于LLaMA-Factory的实操指南，包括环境配置、数据处理和模型训练。最终指出微调是数据驱动的迭代过程，需遵循"先小后大"原则进行验证优
2026-06-10 20:27:56
553
原创 RAG项目案例--02在线检索&过滤流水线
本文详细介绍了基于LangGraph的工业级RAG（检索增强生成）系统开发流程与架构设计。系统采用自顶向下的开发模式，通过四路并发检索（精准向量流、假设文档流、知识图谱流、网络扩展流）构建全面的知识召回网络，并创新性地实现了以下技术亮点： 商品确认机制：通过LLM语义重写和Milvus向量对齐，从源头解决代词指代问题，防止跨型号信息污染。 混合检索策略： 精准向量流：使用BGE-M3模型结合商品名过滤确保结果精准 HyDE假设文档流：通过生成虚构文档解决短查询与长文档的语义匹配问题 知识图谱流：通过Neo4
2026-06-08 20:48:28
384
原创 RAG项目案例--01离线数据治理流水线
本文介绍了一个基于LangGraph框架构建的知识库导入系统，采用"状态驱动、节点无状态"的设计理念实现高并发和容灾能力。系统核心流程包括： 数据治理与标准化 通过PDF高保真重构解决传统RAG的语义坍塌问题 多模态处理将图片转换为可检索文本 双阶复合切片算法优化文本分块 业务语义富化 使用LLM提取文档主体名称并注入所有切片 构建混合数学引擎（稠密+稀疏向量） 数据持久化 自动构建Milvus向量数据库Schema 实现金融级幂等设计 系统优势： 解决RAG中图片检索难题 支持混合检索
2026-06-07 09:43:15
423
原创 工业级RAG检索
工业级RAG系统已从简单拼装发展为高并发、高可用的微服务架构，通过严密工程管道确保输出确定性。其架构分为离线数据治理和在线检索生成两大核心流程：离线阶段通过分布式解析、语义切片和混合向量化构建高保真知识资产；在线阶段采用多路并发检索（稠密/稀疏向量、知识图谱、实时网络）和双阶裁决（RRF融合+Cross-Encoder精排）获取精准证据。最终通过上下文优化编排、流式防护机制确保大模型生成高可信结果。该设计通过工程确定性对冲模型随机性，实现算力成本优化与组件热插拔升级能力，适用于金融、医疗等零容错场景。
2026-06-06 10:03:39
367
原创 mac本地部署大模型：oMLX +open claw
摘要：oMLX是专为Apple Silicon芯片优化的本地大语言模型推理服务器，基于MLX框架深度开发。该商业增强版支持文本生成、多模态视觉等任务，通过分层KV缓存、连续批处理等技术提升性能，并具备内存保护机制。安装流程简单，下载.dmg安装包后与OpenClaw生态集成即可使用。该系统特别适合作为ClaudeCode等编程助手的本地后端，在保持高性能的同时显著降低内存占用，避免系统卡死问题。
2026-04-19 19:08:11
2084
原创 spark3新特性之动态分区裁剪
Spark3.0为我们带来了许多令人期待的特性。Spark中的静态分区裁剪在介绍动态分区裁剪之前，有必要对Spark中的静态分区裁剪进行介绍。因此，在这种情况下，我们不能再应用静态分区裁剪，因为filter条件在join表的一侧，而对裁剪有用的表在Join的另一侧。Spark将这个查询转化为一种易于理解的形式，我们称它为查询的逻辑计划。物理计划阶段优化如果维度表很小，那么Spark很可能会以broadcasthashjoin的形式执行这个Join。Spark 3.0 为我们带来了许多令人期待的特性。
2023-07-12 10:19:13
992
原创 Python-ldap的API使用
这个示例连接到一个 LDAP 服务器，使用管理员凭据进行身份验证，然后搜索具有特定电子邮件地址的用户。它检索用户的 uid，名字，姓氏和电子邮件，并将它们打印到控制台上。最后，它关闭了 LDAP 连接。你可以根据需要修改搜索过滤器，搜索基础和属性列表。
2023-04-14 10:55:40
1431
原创 Python的常用内置函数+模块
python的join内置函数：Python中的join函数_python join_sunvally的博客-优快云博客python的re正则模块：Python之re模块详解_python_脚本之家Python的sys解释器相关模块：python模块sys（常用功能） - 知乎
2023-04-03 17:11:31
230
原创 配置IDEA自带Maven插件的镜像源
1、问题描述由于某些众所周知的原因，Maven从中央仓库下载依赖速度非常慢，甚至经常失败，几乎处于不可用状态。而Maven项目和这个构建工具又是Java开发者必不可少的开发利器。一般我们采取配置国内阿里云的镜像源，很快很巴适自己下载maven的一般在下载目录下找到conf文件夹，修改settings.xml文件即可。
2023-03-24 11:10:08
2224
原创 MYSQL开发误区
1、现象：在线业务系统出现了三张表以上的关联查询建议：说明业务逻辑在表设计上的实现不合理，需要进行表结构调整，或进行列的冗余，或进行业务改造。2、现象：大表拆成多张小表之后，表之间通过ID关联，需要关联查询的时候，根据ID到表中再取出对应的值建议：可在子表适当冗余主表的字段，避免回表查询。3、误区：表数据一多了，就要拆分表正解：不能为了拆表而拆表，要与业务切合，我们的设计永远是以符合业务发展为第一出发点。讨论：是否可以归档，建立历史库？数据是否符合冷热分离？数据是否可以直接删除？
2023-03-09 15:05:25
633
原创 OOM的俩种情况---主动kill/被动kill
因为内存资源配置原因，导致hbase集群压测时出现崩溃异常，并且看不到有效日志。本文总结了OOM出现后的排查手段，以及避免方法。
2023-02-28 10:56:56
608
原创 screen常用命令总(支持关闭xshell窗口)
screen -S dcx --> 新建一个叫dcx的session，并登录dcx session。screen -d dcx --> dcx session离线(离开dcx session)screen -r dcx --> dcx session恢复(进入dcx session)screen -d -r dcx --> 结束当前session并回到dcx这个session。
2022-10-20 10:10:33
1016
原创 Spark内核
Spark中未进行序列化的对象，由于其占用的内存是通过周期性地采样近似估算而得，即并不是每次新增的数据项都会计算一次占用的内存大小，所以可能导致Spark标记为释放的内存但是JVM并没有释放导致实际可用的内存小于Spark记录的可用内存，甚至OOM。堆外内存直接向操作系统申请，所以可以实现精准的空间计算。
2022-08-22 16:00:18
1478
原创 EC码介绍
EC(Erasure code),是一种纠删码，相比多副本复制而言， 纠删码能够以更小的数据冗余度获得更高数据可靠性， 但编码方式较复杂，需要大量计算 。纠删码只能容忍数据丢失，无法容忍数据篡改，纠删码正是得名于此。EC码中分为数据块和校验块。假设我们的输入数据以D1，D2，...D5的向量来表示，矩阵B为编码矩阵，进行编码后得到D，C组成的矩阵，其中D为数据块，C为校验块。我们的数据写入都需要经过编码后才能进行存储。与传统文件被划分为数据块进行存储相比，EC编码的文件以块组为单位对文件进行划分，一个块组中
2022-07-14 15:28:54
3447
原创 Hadoop 2.x和Hadoop 3.x比较
Hadoop 2.x - Apache 2.0，开源Hadoop 3.x - Apache 2.0，开源Hadoop 2.x - java的最低支持版本是java 7Hadoop 3.x - java的最低支持版本是java 8Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。Hadoop 3.x - 可以通过Erasure编码处理容错。Hadoop 2.x - 对于数据平衡使用HDFS平衡器。Hadoop 3.x - 对于数据平衡使用Intra-data节点平衡器，该平衡器通过HDFS磁盘平衡
2022-07-04 16:39:51
1004
原创 HDFS-FSCK命令输出
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。fsck命令必须由HDFS超级用户来执行，普通用户无权限。hdfs fsck /data/test/cdh9 -list-corruptfileblockshdfs fsck /data/test/cdh9 -movehdfs fsck /data/test/cdh9 -deletehdfs fsck /data/test/cdh9 -openforwrite例：hdfs fsck /
2022-07-04 11:19:50
1000
原创 Linux专栏 -- tcp和tcpkill工具使用
一、TCP报文简介TCP报文格式 TCP/IP协议的详细信息参看《TCP/IP协议详解》三卷本。下面是TCP报文格式图：图1 TCP报文格式 上图中有几个字段需要重点介绍下： （1）序号：Seq序号，占32位，用来标识从TCP源端向目的端发送的字节流，发起方发送数据时对此进行标记。 （2）确认序号：Ack序号，占32位，只有ACK标志位为1时，确认序号字段才有效，Ack=Seq+1。 （3）标志位：共6个，即URG、ACK、PSH、RST、SYN、FIN等，具体含义如下： （A）UR
2022-07-01 14:34:54
1431
原创 分组函数之rollup、cube函数、grouping sets函数
rollup 通常和group by语句一起使用，是根据维度在分组的结果集中进行聚合操作（通常为汇总，这取决于SELECT后的聚合函数）。最常用的场景是：为每个分组返回一个小计，同时为所有分组返回总计。1、不带rollup的goup by ：Group by A ,B产生的分组种数：1种；返回结果集：也就是这一种分组的结果集。2、带rollup但group by与rollup之间没有任何内容：1）Group by rollup(A ,B) 产生的分组种数：3种；返回结果集：为以上三种分组统计结果集的并集且
2022-06-27 10:43:03
5854
原创 Hive与MapReduce小文件合并问题
参数设置：因为设置上面四个参数，看上去规定了map结束，MR结束合并文件，如果文件平均小于smallfiles.avgsize启动一个新的MRj进行文件的二次合并。如果启动mr合并文件，没有问题。但是忽略了一个问题，你重新启动一个mr合并文件，这个mr是不是需要进行文件split，你这个参数搞小了，那就会产生很多task，很多map，比如很多小文件就是一个map，最终还是产生很多小文件（因为合并小文件的mr只有map）。所以必须要配合split参数才有用。参考：大多数开发人员都弄错的Hive与MapRedu
2022-06-09 10:16:02
525
原创 Linux -- 软链接使用
1.创建软链接ln -s [新的源文件或目录] [软链接文件]例：ln -s /data/html/ /var/www/html需要html目录不存在2.修改软链接就是重新软链即可ln -sf /data/html/ /var/www/html3.删除软链接rm –rf ./软链接名称 --仅仅删除软链接，源文件没有被删除rm -rf ./软链接名称/ --把软链接以及软链接指向下的内容删除...
2022-06-09 10:12:24
1119
1
原创 大数据组件日志查看
yarn applicationyarn application -listyarn application -kill application_xxx_xxxyarn application -appStates finished -listyarn application -appStates ALL -list
2022-06-02 08:59:57
354
原创 Flink--自定义函数
本文为您介绍如何为实时计算Flink版自定义标量函数（UDF）、自定义聚合函数（UDAF）、自定义表值函数（UDTF）编写业务代码及上线。自定义标量函数（UDF）定义自定义标量函数（UDF）将0个、1个或多个标量值映射到一个新的标量值。为了定义标量函数，必须在org.apache.flink.table.functions中扩展基类Scalar Function，并实现（一个或多个）求值（evaluation，eval）方法。标量函数的行为由求值方法决定，求值方法必须公开声明并命名为eval
2022-05-31 19:26:21
1012
原创 Flink -- 内置函数(ALL)
目录比较函数1.比较函数比较函数的函数名和功能描述如下： 函数名 功能描述 函数名 功能描述 value1 = value2 比较 value1 和 value2 是否相等，如果相等则返回 TRUE，如果不相等则返回 FALSE。 NULL 与任何值比较的结果均为 NULL，在 WHERE 条件中会被当作 FALSE。因此请使用 IS NULL 而不是 = NULL 来与 NULL
2022-05-31 18:17:35
4582
原创 Flink ＜--＞HBase的使用介绍+with参数
介绍Hbase Connector 提供了对 Hbase 集群的读写支持。Oceanus 已经提供了内置的flink-connector-hbaseConnector 组件。使用范围仅适用于 hbase-1.4.x。示例用作数据源（Source） CREATETABLEdim_hbase ( rowkey STRING, cf ROW < school_name STRING >, PRIMARYKEY(rowkey...
2022-05-31 17:53:21
2234
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人