- 博客(449)
- 收藏
- 关注
RSS订阅原创 什么是“标签”？
标签 = 正确答案它是你希望模型最终能预测出来的目标值。你给模型看一张猫的照片 → 标签是 “猫”你给模型一组血压、心率数据 → 标签是 “是否患病（是/否）”你输入过去10秒的温度、振动、电流数据 →如果做异常检测正常或异常如果做RUL预测剩余还能运行 120 小时标签就是“标准答案”——有答案就教模型学（监督学习），没答案就让模型自己找规律（无监督学习）。在工业预测性维护中，获取高质量标签往往是最大难点。很多项目前期都在解决“如何定义和获取标签”的问题。
2026-01-06 09:46:55
248
原创 如何在边缘设备中实现多语言支持？
选对模型：优先使用原生多语言大模型（Llama-3.1 / Qwen2）量化部署：GGUF Q4 + llama.cpp（CPU）或 AWQ + TensorRT（GPU）Prompt 控制语言：无需翻译模块，模型自动对齐输入输出语言聚焦业务语言：不必支持所有语言，只覆盖产线实际使用语种边缘资源优化：限制上下文长度、单线程推理、常驻服务✅最终效果：越南工人用母语问设备问题 → 边缘设备 2 秒内返回越南语维修步骤 → 自动生成越南语工单 → MES 系统无缝接收。
2026-01-06 08:46:46
707
原创 vllm 部署验证
1、在魔塔社区 我的NoteBook 创建2、查看python3版本3、检查 NVIDIA GPU 是否可见nvidia-smi，支持 FP16、INT8、Tensor Core，vLLM 的 PagedAttention 能充分发挥其性能。3、docker 版本你是在。
2026-01-05 19:31:29
833
原创 vLLM 底层原理
传统 LLM 推理采用 “静态批处理”（Static Batching）：即一次性收集一批请求，处理完成后再处理下一批，期间如果有新请求到达，需要等待当前批次结束，导致吞吐量低下、延迟升高；（Key/Value Cache，注意力计算的核心中间数据）是连续存储的，当请求动态增减（如长序列、批量请求变化）时，会产生大量内存碎片，且无法充分复用显存；这是 vLLM 最根本的技术突破，解决了传统推理框架中注意力机制显存利用率低、内存碎片严重的问题。，无需预留大量连续显存，适配突发请求和长文本推理；
2026-01-05 13:50:56
251
原创 Ollama、Dify和vLLM是大语言模型生态系统中的关键组件
vLLM 则采用模块化分层架构，核心创新包括动态批处理引擎（通过预测请求模式弹性分配计算资源，提升 GPU 利用率）和 PagedAttention 内存管理（将注意力计算分解为可变大小内存块，降低长文本处理时的内存占用）；Ollama 适合边缘设备部署（支持 CPU 模式，在 MacBook M2 上可运行 4B 模型）、快速原型开发（单命令部署）及研究实验（提供详细日志），但不支持模型并行，模型大小受单卡显存限制（如 A100 80GB 上约 13B 参数）。使用场景与适用性：。
2026-01-05 09:08:59
214
原创 使用 mysqldump 导出 + mysql 导入
mysqldump -h 源主机IP -u 用户名 -p --single-transaction --routines --triggers --events 数据库名 > database_name.sql。
2026-01-04 13:24:52
93
原创 净资产收益率（Return on Equity，简称 ROE）
净资产收益率（ROE）表示每一单位股东权益所能带来的净利润，通俗地说，就是“股东每投入1块钱，公司能赚多少钱”。
2025-12-20 15:00:36
760
原创 SQL server 判断表中是否有字段
由于不能保证所有环境中的kuout表都包含[Mtype]字段，我们需要，如果存在就包含它，否则用NULL或默认值代替。
2025-11-24 17:24:33
256
原创 在streampark运行paimon-flink-action-1.20.0.jar
1、上传相关jar包到 /opt/flink-1.20.0/lib。2、重启streampark。
2025-11-13 11:22:53
669
原创 Flink1.20 standalone 安装部署
下载 .tar.gz 文件（如 OpenJDK11U-jdk_x64_linux_hotspot_11.0.23_9.tar.gz）清华镜像站同步了 Adoptium / Eclipse Temurin 的官方构建，包含 JDK 11。打开链接 → 选择 11/ → jre/ 或 jdk/清华大学开源软件镜像站（强烈推荐）进入对应平台目录（如 x64/）
2025-11-10 10:23:43
347
原创 物化视图（Materialized View）是数据库中的一种特殊类型视图，它实际上存储了数据的物理副本。
物化视图（Materialized View）是数据库中的一种特殊类型视图，它实际上存储了数据的物理副本。与普通视图不同，普通视图仅存储查询定义，并在访问时动态执行查询来获取数据，而物化视图则是预先计算并存储查询结果，从而可以加快查询速度，尤其适用于处理复杂查询或大数据量的情况。
2025-11-10 08:33:11
263
原创 StreamPark 安装部署
本文讲解的是以手动的方式打包镜像，首先按照如下命令下载 StreamPark 源码，切换分支后把打包好的安装包放到。下载时间比较长 需要耐心等待。
2025-11-05 14:50:28
454
原创 PAIMON+STARROCKS 学习
Apache Paimon 是一个开源的、面向流计算的湖仓存储格式，源于 Apache Flink 社区（原 Flink Table Store）。它的核心创新在于将湖存储格式与日志结构合并树（LSM-tree）技术融合，为数据湖带来了强大的实时流式更新能力，这使得高吞吐、低延迟的数据摄取、变更日志追踪和高效的即时分析成为可能。
2025-11-04 11:20:26
1115
原创 Schema Evolution（模式演化）
是指在数据系统（如数据库、数据湖、消息队列、序列化框架等）中，随着时间推移对数据结构（即 schema）进行变更的能力。良好的 Schema Evolution 支持允许系统在不中断现有服务或破坏向后/向前兼容性的前提下，安全地添加、删除或修改字段。
2025-11-04 09:34:03
471
原创 数据湖技术学习
Apache Paimon 是一个开源的、面向流计算的湖仓存储格式，源于 Apache Flink 社区（原 Flink Table Store）。它的核心创新在于将湖存储格式与日志结构合并树（LSM-tree）技术融合，为数据湖带来了强大的实时流式更新能力，这使得高吞吐、低延迟的数据摄取、变更日志追踪和高效的即时分析成为可能。
2025-10-28 17:27:05
707
原创 知识图谱的学习
用户画像作为一种重要的数据分析方法，已经在精准营销、内容推荐、用户需求预测等领域得到了广泛应用。传统的用户画像多依赖单一数据源，难以全面刻画用户特征。而知识图谱因其强大的语义建模和关系挖掘能力，成为构建精准用户画像的重要工具。知识图谱通过整合多源异构数据，构建语义关联和多维关系网络，不仅提高了用户画像的精准性，还增强了其动态更新能力和可解释性。1、知识图谱再用户画像中的作用。
2025-10-27 13:44:01
172
原创 采用 Trie 树结合 RoaringBitmap 技术，构建高效的子串倒排索引
Trie 树负责“快速找到可能的词”，RoaringBitmap 负责“高效记录和计算这些词对应的实体”，两者结合，实现海量业务维度数据下的高性能语义匹配。
2025-10-27 10:40:49
312
原创 NER流程 是指 命名实体识别（Named Entity Recognition）的处理过程
NER流程 = 让AI“圈出”句子中的重点信息，并告诉它是哪一类（比如是公司？产品？还是时间？），是实现自然语言理解（NLU）和智能问答的关键第一步。
2025-10-27 10:28:56
300
原创 ImmutableList.of() 是 Google Guava 库 提供的一个静态工厂方法，用于创建一个不可变的（immutable）列表。
表达式含义创建一个不可变列表，包含 A 和 B不可变不能增删改适合常量、配置、函数返回值、防止副作用。
2025-10-20 10:23:20
384
原创 ChatBI的相关学习
如果用RAG的方法，对它做切片，做向量化，可能效果上就会更好，相当于是把大模型的能力增强，但Agent一定程度上相当于丰富大模型的能力，因为大模型其实现在狭义上是大语言模型，在自然语言里面可能有比较强的能力，但是要扩展到自然语言之外，如一个常见的场景，就是订机票、订酒店，那它就不是一个单纯的NLP的任务，用agent的方式，可以用大模型的编排能力，工具助手来实现一个丰富大模型的能力的目的。重点是看数据的表达能力，通过数据切片、向量化、ES召回、实体抽取技术，形成输入大模型前的数据表达服务能力。
2025-09-29 14:20:34
756
原创 快手BI 学习
提供模糊问题的澄清和确认机制，解决无法同时查询的指标维度或存在歧义的问题。数据层面：确保高质量的元数据接入，通过元数据预处理和元数据质量评估；平台层面：实施精细化流程处理，拆解粗粒度流程，把每一步做到极致，例如：多路召回、重排序、多次大模型交互等优化，实现更高效的智能化操作。数据方面-数据规模庞大（数十万数据集、数千万维值等），数据质量参差（指标定义不一致、命名随意等），数据重复与相似度高（如同一个数据集存在数百个GMV相关指标等）。模型方面：通用大模型存在幻觉问题，生成不稳定，性能和成本难以平衡。
2025-09-29 10:29:24
161
原创 滴滴ChatBI 学习
另一种路径则是以指标平台为中心，我们可以看到许多新兴的 BI 创业公司倾向于采用这种方式，他们更注重 AI-Native，即先建立指标平台，再在此基础上搭建 BI 产品。通过 LLM 大模型的意图识别能力，将以往的增强分析功能都串联了起来，用户现在可以通过自然语言进行数据的解读、预测和异动分析。DSL 至少能够对这些复杂的查询进行较好的解析和处理，此外，对于模糊指标的处理，也有部分可以在此阶段进行一定程度的优化。接下来，整合后的问题会进入意图识别的小模型，该模型负责将问题的意图归类。
2025-09-29 10:09:09
982
原创 ChatBI 学习
首先借助 LLM 构建 entity-column 知识图谱，实体包括两类，一类是抽象实体，另一类是列实体，抽象实体包括了业务概念、抽象的维度、指标大类等，人工可以 Review 并修改实体和关系的定义。可将自然语言直接转为标准 SQL 查询，便于集成，且通过对多表 JOIN、聚合等操作的支持，它能够灵活应对复杂的业务查询需求，但因 SQL 语法与逻辑复杂，基于 LLM 生成的 SQL 很难保证业务逻辑的绝对准确。三层聚合数据粒度分别从细到粗，定位不同的产品用途，可以支持不同的查询需求。
2025-09-28 17:27:37
1046
原创 ChatBI + DeepSeek 学习
ChatBI 是一款基于大语言模型（LLM）打造的智能数据问答产品，提供意图识别、知识召回、问题理解、数据查询、可视化生成等能力。用户通过自然语言提问，便可获取数据分析结果，实现敏捷决策。有效解决了传统BI的灵活性和门槛问题；DeepSeek-R1模型通过强化学习提升推理能力，支持复杂任务处理，并且具有低成本和高效率等特点。
2025-09-28 15:08:30
918
原创 ChatBI的学习
最后大模型生成的逻辑 SQL 会进入我们后处理模块，这个模块实现会对一些幻觉问题（比如字段或者表名不存在等）进行重试，接着会把逻辑 SQL 转换成我们定义好的 DSL 结构，有了这个 DSL 以后就可以对结果做一些校正澄清，也就是我们的智能感透出功能，比如用户问”东的销售额“的时候，我们发现“东北”和“华东”里都包含了”东“这个关键词，会提示用户让用户选择确认。另外用户也可以配置一些后处理的规则，比如添加默认筛选器、返回指定字段等，这些自定义的规则会在规则引擎中进行处理最后生成一个完整的 DSL。
2025-09-26 10:58:43
993
原创 DAAS SAAS PAAS 区别
、SAAS（软件即服务）和 PAAS（平台即服务）是云计算中不同层级的服务模式。它们之间的核心区别在于提供的服务抽象层次和用户需要管理的范围。这里的DaaS（桌面即服务）更接近于SaaS，但提供的是一个完整的操作系统环境。以下将分别对比这两种DAAS与SaaS、PaaS的区别。
2025-09-26 10:07:52
595
原创 Text2DSL（Text-to-DSL）技术是将自然语言转换为领域特定语言（DSL）及 在ChatBI中的应用
在当前的自助分析BI产品中，用户可以在一张报表内配置多个跨数据集的指标，例如“通话次数”和“订单成交量”，这些指标存储在不同的数据集中，并且每个指标支持多个实时过滤条件。对于后者，我们会在SQL查询得到数据后，重新组装Prompt，再次利用大模型进行语义理解分析，并根据用户的提问提供针对性的回答。Text2DSL方案同样面临挑战：基于Text2DSL搭建的ChatBI需要依赖成熟的指标体系，而且查询的灵活性和扩展性受限于现有指标和维度，本质上是报表搭建参数智能检索召回后的自动化数据查询流程。
2025-09-26 10:04:47
1257
Doris 1.2.4.1 Dockerfile制作 init-fe.sh 和 init-be.sh
2023-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人